Merge branch 'master' into benchmark

Update version to 2.0-pre13

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add missing file to extra dist

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master' into benchmark

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add TODO file

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Major code cleanup

Cleanup main.c of the session daemon. The main switch case to handle
client command is made more modular and clearer. Each command has a
function associated with it beginning by 'cmd_*'. Also adds channel.c/.h
and event.c/.h containing helper function to execute client commands.

The reste of the modified code is simple cleanup.

Some minor bugs were fixed also by this cleanup. All and for all, this
makes easier to maintain the session daeamon code base.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Minor fixes to header files

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix missing tracepoints during merge

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master' into benchmark

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add poll/epoll compat layer for session daemon

This is a big modification of the session daemon code base. Every thread
is monitoring file descriptors using a poll set. This commit adds a
compat wrapper for the use of poll(2) or epoll(7) determined at compile
time on if the epoll API is available. Since epoll(7) is Linux specific,
the poll(2) fallback is necessary for portability.

By default, epoll(7) will be used having the --enable-epoll default to yes.
To use the poll(2) API, simply run with --disable-epoll when running
configure.

With this implementation, some fixes are also introduced.
  * Two missing notification to the consumer when the default channel is
created.
  * Memory and socket file descriptor leak when connect()/close() is
    done by the daemon alive check of the lttngctl API.
  * Root check (UID=0) on cleanup() before removing LTTNG_RUNDIR.
  * Comments here and there.

At this commit, tests were made on the CPU hot plug feature, multiple
UST registration at the same time and git tree tests. All passed for
poll(2) and epoll(7) implementation.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add epoll check to autoconf and Makefile

Adds two m4 macros to check for epoll(7) API and change the gitignore to
fit thoses changes.

Also change the Makefile to add COMPAT_EPOLL value in order to select
the right source file at compile time.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix enable-channel that did not handle correctly lttng domains

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

ltt-sessiond: fix 2 double-unlock

After a list iteration, the pointer is not null, so the unlock would
trigger.
The second path modified does 2 unlock when taking the if () branch.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Cleanup poll handling events

Make the accept in the thread client only if we have a POLLIN request.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Improve poll management of registration thread

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Increase listen() connexion limit

To handle a large number of UST registration at the same time, this
limit needs to be raised.

See /proc/sys/net/core/somaxconn for the maximum possible connexions.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix missing events for all threads pollfd struct

The thread_quit_pipe event field of the pollfd was not set nor zeroed.
At high rate UST registration and modifying the pollfd set frequently,
the session daemon hang on the poll() call even if the thread_quit_pipe
was closed and explain by poll() "undefined behavior".

Also add a MSG() and ERR() statement after some errors.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add a safety check to nbfd of apps cmd pollfd

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master' of git://git.lttng.org/lttng-tools

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add benchmark directory to git ignore

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master' into benchmark

Fix pollfd update bug in thread_manage apps

When updating the pollfd array, the wrong pollfd size was used so at
multiple UST registration at the same time the socket was not added to
the poll list.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

More fine grained time for ust register/notify

Also, fix the benchmark script not to hang or use useless command to
wait for the session daemon.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix benchmark scripts to wait PID

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add missing scripts for ust notify and ust register

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix conflicts in merge

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master' into benchmark

Remove fork() for the wait shm creation process

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix missing deleted code in the merge

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master' into benchmark

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add the notify UST application scheme

This commit introduce the use of a wait shm futex that is used to notify
applications that the session daemon is running and ready to accept
registrations. See shm.c/.h for those calls and the new
futex_wait_update() in futex.c. This scheme is also found in lttng-ust
2.0 and mainly taken from there.

Also, enable-channel of the lttng client was modified to accept UST PID
domain. It's the first phase for testing UST features of the
liblttngctl.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update and fix UST register and session creation

The handling of the apps command pollfd, in the registration thread and
the update function, was incorrect. The update process, when
unregistring, was overwritting connected socket thus not being able to
monitor them with poll().

This is the first step forward to fully support LTTng UST tracer.

Add create UST session to ustctl and the session daemon. At this
commit, this feature is not used yet.

Move the register done command to ustctl. Adds the ustcomm_send_command
which returns the reply structure from the UST application.

The ustctl and ustcomm are cleaned up.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master' of git://git.lttng.org/lttng-tools

Better debug and fix an error handling

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master' of ssh://git.lttng.org/home/git/lttng-tools

Fix missing headers

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix memory leaks and modify kernel session creation

Set the path of the kernel session in trace-kernel.c in order to
centralize that setup at only one place.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add UST trace data structure and functions

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix tests to fit renaming

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Rename trace.c/.h to trace-kernel

Note that the file only contains evidently kernel data structures and
functions signatures.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Check declaration of futex_async and update urcu needed version

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Init the kconsumerd error socket

The kconsumerd_error_socket must be initialised to a negative value when
we create the context, otherwise we don't know if it is defined or just
random.

Signed-off-by: Julien Desfossez <julien.desfossez@polymtl.ca>

Update version to 2.0-pre12

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix missing header in Makefile.am

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master' into benchmark

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add support for UST application registration

This is a big commit ;)

Introduce two new threads and one almost rewritten. The first thread
added is the one that manage UST registration. This thread is *very*
lightweight and, basically, receive the registration request, queue it
in a lock free queue and wake up the dispatch thread (second new thread)
using a N wakers / 1 waiters futex scheme.

This dispatch thread will then dequeue and notify the application thread
(that manages application registration and monitor UST sockets). The
notification consist of sending the dequeued node (command) to the
application thread pipe where the application thread is blocked on
poll().

For now, the registration is handle meaning that the application will
get added to the session daemon internal data structures, the daemon
will send a REGISTER_DONE command to the application and, finally, end
the communication by waiting for the UST reply of the previous command.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Adding LTTng UST 2.0 ABI

Taken from the git head of UST.

Branch: lttng-ust-2.0
Commit id: 66c7df9e6c8b4e2ea609a7e3028346ada35ddaec

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add NULL pointer check

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master' into benchmark

Fix AUTHORS

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix headers include and rename kernctl.h header

Move kernctl.h to lttng-kernel-ctl.h into the include directory.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master' into benchmark

Cleanup comments and bad indent

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Improve benchmark systems and add create/destroy session

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Initial import of the benchmark branch

This branch should be used to benchmark/measure components of
lttng-tools.

Benchmark can be started with "make bench" and results will be written
to /tmp/lttng-bench-results.txt and stdout.

Boot time of ltt-sessiond is added with this commit.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add missing error handling in liblttngctl

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

thread_manage_apps: update and comment socket handling

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Missing -k option in quickstart guide

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix incorrect thread cleanup on blocking recv()

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix tracing group spawning the session daemon

The check was incorrect for the session daemon path in the liblttngctl.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add lttng-modules detection for tests

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Callbacks on receive and update FD

The user of the lib can now take control over a new FD or the update
operation of an existing FD.
Opening the output tracefile is now the responsiblity of the user
and not the library itself.

[ Edit by Mathieu Desnoyers: comment and teardown cleanups ]

Signed-off-by: Julien Desfossez <julien.desfossez@polymtl.ca>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Parametrize enable-channel help

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Function to handle snapshots in liblttngkconsumerd

This patch adds the wrappers to take a snapshot for a specific FD and
to retrieve the produced position.
Also refactor the sync tracefile operation.

Signed-off-by: Julien Desfossez <julien.desfossez@polymtl.ca>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Set default number of metadata subbuffers to 2

LTTng uses a wait/wakeup scheme when the metadata buffer is full, so
there is no need to waste memory.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Turn consumer "normal" error into debug statement (with comment)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Send data to kconsumerd before tracing start

The metadata buffer of the kernel can get overflowed between the start
of the kernel consumer and the kernel start session. Sending the fds
before tracing start fix that problem.

Fixed-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Modify default kernel channel size/number

Too small kernel channels (4kB) leads to unwelcome delay at trace
indexing and adds buffer switch overhead. Use a default closer to the
0.x LTTng for buffer size:

256kB subbuffer
4 subbuffers/buffer
for 1MB per channel per CPU in normal tracing mode, and 1MB + 256kB per
channel per CPU in overwrite mode.

We currently plan to still use 4kB * 8 sub-buffers for UST because we
allocate these buffers per process, which makes memory consumption more
of a concern.

The metadata channel is kept small (4kB), but we keep a number of
subbuffer of 8 for now, as the behavior between "start" and spawning the
consumer is in the wrong order: we will need to spawn the consumer
before start is performed, because "start" returns blocks for 10 seconds
and returns an error if the buffers are too small to write metadata (and
they are not consumed).

Also fix a memory leak in init_default_channel.

process_client_msg() now uses a check / alloc / failure for channel
lookup rather than an endless retry, which could have led to denial of
service in case of internal error.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

kconsumerd: fix infinite loop in splice handling of subbuf larger than 4k

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add kernel events tests

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update tests EXTRA_DIST

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add basic kernel tracing tests

This test is the basic use case of kernel tracing by creating a session,
enabling all events, tracing and destroying the session.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Continue parsing options for add-context on error

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add runall.sh test script to distribution

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Rename and export lib kernel consumer

The old liblttkconsumerd is renamed to liblttngkconsumerd and exported
publicly having the public header "lttng/lttng-kconsumerd.h".

To link with this library, use -llttngkconsumerd.

Every public functions now begins with the "lttng_" prefix to fit the
lttng public namespace.

Comments are changed also to fit 80 lines standard and the rest of the
git tree comments.

This complete renaming was motivated by the new tool made by Julien
Desfossez called 'lttngtop' which uses the kernel consumer library to
create a custom consumer. More works will add consumers in the lttv and
babeltrace projects.

Please see lttng.org to learn about lttngtop.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Kconsumerd use the output parameter

Signed-off-by: Julien Desfossez <julien.desfossez@polymtl.ca>

Fix bad channel output when sending to consumer

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Permit custom consumer registration to a session

Introduce the new API call lttng_register_consumer(...).

By giving a lttng_handle and a socket path, the fds will be sent to that
socket for the specific tracing session and domain. No kernel consumer
will be spawned by the session daemon for that session.

At this point, only kernel consumer is supported.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix missing file for make dist

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix copy_string dst validation

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add tar and bz2 file to gitignore

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update version to 2.0-pre11

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix makefile

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Change lttng API to use a lttng_handle

Introduce the lttng_handle structure that is now used by the API
containing the session name and lttng domain.

This removes multiple static variables of the library and makes it safe
for multithread tool to use the library.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Cleanup mmap consuming

Only one mmap call per buffer, once the first mmap is done, we use the
offset to know where to start consuming the data.

When we receive the FD and its output mode is mmap, we mmap the buffer,
when it is closing, we munmap it.

Removed the manual padding handling because the kernel already exposes a
padded subbuffer.

Also updated the check of the return code of
kconsumerd_consumerd_recv_fd to be consistent with the rest of the code,
we are in error when it's < 0 not <= 0.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Julien Desfossez <julien.desfossez@polymtl.ca>

Register the consuming function and add a library context

The init function of the library now takes a function as argument to
allow a consumer using the library to control the function to be called
when data is ready in a buffer.

The kconsumerd_on_read_subbuffer_mmap and
kconsumerd_on_read_subbuffer_splice are now exported to allow a consumer
to use them directly if needed.

Also the library has now a context, where all local parameters are
registered instead of static variables. That way, we can have multiple
callers using the library within the same process. Only the flag
indicating that all fds are closed remain global to the library and
shared among callers.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Julien Desfossez <julien.desfossez@polymtl.ca>

Add doc to liblttkconsumerd.h

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Julien Desfossez <julien.desfossez@polymtl.ca>

Change kernel traces output directory

Adds the kernel/ directory level for kernel traces.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Privatize lttng-sessiond-comm

With the intent of keeping libust, which is really an instrumentation
library, stand-alone, we prefer not to make it depend on a library from
the lttng-tools tree. Therefore, we privatize lttng-sessiond-comm, and
both package will interact through a communication protocol rather than
a shared library.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Header cleanup and alignment fix

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix wrong message with lttng list

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

kernel_list_events: fix file descriptor leak

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Merge branch 'master' of ssh://git.lttng.org/home/git/lttng-tools

Replace underscores of enable-channel options

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Version 2.0-pre10

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove "lib" prefix from .c/.h file names

This is uncommon. "lib" prefix is only needed for the library name.
Let's keep the lib prefix for source tree directory names for clarity
though.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Rename liblttsessiondcomm to liblttng-sessiond-comm, install it.

Install this library in the system, for UST.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Header Alignment Cleanups

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Move LTTNG_RUNDIR declaration to lttng/lttng-sessiond-comm.h

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

header cleanup

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>