Preliminary work for full UST support

Add hashtable support for all UST data structure. At this point, enable
channel and event works with the global UST domain. The interaction with
the ust consumer has problems for now thus not working at this stage.

NOTICE: This commit does NOT work with the user space tracer yet. Please
refer to next commit for working version.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update RCU hashtable from upstream urcu

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Import hashtable files from URCU upstream git

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Basic hashtable support for UST

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update documentation following babeltrace UI change

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

UST support: add UST control commands

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix kconsumerd number of fd expected

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add lttng-consumerd to gitignore

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Remove unused variable

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

API change for lttng_get_readeable_code

The liblttngctl lttng_get_readeable_code call is renamed to
lttng_strerror.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix array size in kconsumer add stream

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix inline function bad definition

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Use UST comm lib

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update UST messages

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

UST 2.0 support

Refactoring of the consumer/sessiond interaction so the consumer
supports applications instrumented with libust (UST 2.0).

At this point, more testing of interaction between libust and sessiond
is required.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix disable event

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add EEXIST support for kernel event on the tracer side

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix bad channel handling on enable-event

The channel attributes and name were not passed to the create function
when a channel is requested and did not exist on enable-event.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix comments in lttng-sessiond-comm code

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add recv fds function to lttng-comm API

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add missing mutex lock for kconsumerd pid

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add sem_wait timeout on the kconsumerd thread

It's unlikely to happen but is the kconsumerd was not able to send us
the sock ready command, at least the session daemon will not stall
forever. A 30 seconds timeout is added and error is handle after that.

Also adds the handling of the sem_init ret value and adds mutex lock
around the kconsumerd pid in the same function.

There was also a problem on error code handling where LTTCOMM error was
returned by spawn kconsumerd function but handled as if it might be
negative at the end of the call chain. This was preventing to return the
right error code to the client when the kconsumerd failed.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Remove session list lock acquisition of the search

The lock/unlock of the session list in the find session by name function
is removed thus the caller must held the lock before calling that search
function.

Also, the path and name are now static size on the stack and not
allocated strings at session creation.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix possible use of uninitialized variable

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix session list deadlock

On session destroy, the session list lock is acquired but this call
could be made inside a section where this lock is already acquired. The
call has been changed to using the session pointer and not the name thus
removing a useless list walk.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix enable syscall and bad value of poll set size

First, when enabling syscall tracing, on success 0 is return so we don't
add this value to the event list or else we were polling on fd 0 which
is not a valid event fd. A normal kernel create event, the fd of that
event is returned from the ioctl which is not the case for syscalls.

Second, the poll size was not reset when updating the kernel poll set so
at each kernel poll update, the value was not coherent with the real
poll size and thus creating unstable behavior (unknown).

This commit MIGHT fix a blocking problem happening when using a custom
channel and enabling syscall on it. This issue was reported by Julien
Desfossez <julien.desfossez@polymtl.ca>.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Don't report an error when the last section of the path exist in mkdir_recursive

Minor adjustment for perror call changed to PERROR using the lttngerr.h
interface.

Signed-off-by: Yannick Brosseau <yannick.brosseau@gmail.com>
Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Version 2.0-pre14

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Implement enable all vs enable tracepoints vs enable syscalls

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update documentation for enable all events

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Enable all events command enable also syscalls

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add liburcu function check to build system

rcu_thread_online and rcu_thread_offline are needed and only available
on urcu version >= 0.6.5

Reported-by: Yannick Brosseau <yannick.brosseau@polymtl.ca>
Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Write debug message on stderr

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix epoll not handling signal interruption

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Rename traceable-app and change ust app call

Rename traceable-app to ust-app.c/.h and all calls to ust_app_* to be
consistent with the code base.

Add a channel_ust_copy() to copy UST channel and event list. Mostly used
for channel copy between ust session and ust app.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update quickstart, describing syscall events

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

ltt-kconsumerd: Fix incorrect typing

ltt-kconsumerd.c: In function ‘on_recv_fd’:
ltt-kconsumerd.c:298: warning: passing argument 2 of
‘kernctl_get_mmap_len’ from incompatible pointer type
../include/lttng-kernel-ctl.h:47: note: expected ‘long unsigned int *’
but argument is of type ‘size_t *’

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add enable channel support for UST

Also improve data structure for UST session control to fit new model
where we will have a list of lttng domain to indentify the ust session.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix UST define in global headers

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update UST ABI and add UST some error message

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix channel name in all kernel event test

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add default ust channel attributes

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

kconsumerd: fix strict aliasing

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add missing rculfhash.h header to make dist

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Merge rculfhash into lttng-tools

rculfhash is ready enough for what is needed by lttng-tools. Merge code
as from commit 4dd4a47355d9d870d482248786b4adf8b1317bfe of
urcu/ht-shrink branch.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Improve debugging and add PERROR call

Add three level of verbosity with DBG, DBG2 and DBG3.

Each perror() call from now on should use PERROR().

Migration to these new debug facilities will come later on and
progressively.

To increase debug level use -v, -vv and -vvv respectively.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Missing negative sign to interpret error code

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix enable all syscalls

The -a -k --syscall was enabling all syscalls and all tracepoints.

Fix this issues by adding the enabel_kernel_event_syscalls.

At this commit, there is a problem with the list event that does not
list correctly all syscalls.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Replace sys_enter/exit from tests

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix wrong logical operator

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix uninitialized pointer

Causing the free() to fail on error.

Reported-by: Yannick Brosseau <yannick.brosseau@polymtl.ca>
Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Rename syscalls -> syscall in UI/API/ABI

For consistency with other tracing modes.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add support for --syscalls

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update version to 2.0-pre13

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add missing file to extra dist

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add TODO file

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Major code cleanup

Cleanup main.c of the session daemon. The main switch case to handle
client command is made more modular and clearer. Each command has a
function associated with it beginning by 'cmd_*'. Also adds channel.c/.h
and event.c/.h containing helper function to execute client commands.

The reste of the modified code is simple cleanup.

Some minor bugs were fixed also by this cleanup. All and for all, this
makes easier to maintain the session daeamon code base.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Minor fixes to header files

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add poll/epoll compat layer for session daemon

This is a big modification of the session daemon code base. Every thread
is monitoring file descriptors using a poll set. This commit adds a
compat wrapper for the use of poll(2) or epoll(7) determined at compile
time on if the epoll API is available. Since epoll(7) is Linux specific,
the poll(2) fallback is necessary for portability.

By default, epoll(7) will be used having the --enable-epoll default to yes.
To use the poll(2) API, simply run with --disable-epoll when running
configure.

With this implementation, some fixes are also introduced.
  * Two missing notification to the consumer when the default channel is
created.
  * Memory and socket file descriptor leak when connect()/close() is
    done by the daemon alive check of the lttngctl API.
  * Root check (UID=0) on cleanup() before removing LTTNG_RUNDIR.
  * Comments here and there.

At this commit, tests were made on the CPU hot plug feature, multiple
UST registration at the same time and git tree tests. All passed for
poll(2) and epoll(7) implementation.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add epoll check to autoconf and Makefile

Adds two m4 macros to check for epoll(7) API and change the gitignore to
fit thoses changes.

Also change the Makefile to add COMPAT_EPOLL value in order to select
the right source file at compile time.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix enable-channel that did not handle correctly lttng domains

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

ltt-sessiond: fix 2 double-unlock

After a list iteration, the pointer is not null, so the unlock would
trigger.
The second path modified does 2 unlock when taking the if () branch.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Cleanup poll handling events

Make the accept in the thread client only if we have a POLLIN request.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Improve poll management of registration thread

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Increase listen() connexion limit

To handle a large number of UST registration at the same time, this
limit needs to be raised.

See /proc/sys/net/core/somaxconn for the maximum possible connexions.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix missing events for all threads pollfd struct

The thread_quit_pipe event field of the pollfd was not set nor zeroed.
At high rate UST registration and modifying the pollfd set frequently,
the session daemon hang on the poll() call even if the thread_quit_pipe
was closed and explain by poll() "undefined behavior".

Also add a MSG() and ERR() statement after some errors.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add a safety check to nbfd of apps cmd pollfd

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add benchmark directory to git ignore

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix pollfd update bug in thread_manage apps

When updating the pollfd array, the wrong pollfd size was used so at
multiple UST registration at the same time the socket was not added to
the poll list.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Remove fork() for the wait shm creation process

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add the notify UST application scheme

This commit introduce the use of a wait shm futex that is used to notify
applications that the session daemon is running and ready to accept
registrations. See shm.c/.h for those calls and the new
futex_wait_update() in futex.c. This scheme is also found in lttng-ust
2.0 and mainly taken from there.

Also, enable-channel of the lttng client was modified to accept UST PID
domain. It's the first phase for testing UST features of the
liblttngctl.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update and fix UST register and session creation

The handling of the apps command pollfd, in the registration thread and
the update function, was incorrect. The update process, when
unregistring, was overwritting connected socket thus not being able to
monitor them with poll().

This is the first step forward to fully support LTTng UST tracer.

Add create UST session to ustctl and the session daemon. At this
commit, this feature is not used yet.

Move the register done command to ustctl. Adds the ustcomm_send_command
which returns the reply structure from the UST application.

The ustctl and ustcomm are cleaned up.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master' of git://git.lttng.org/lttng-tools

Better debug and fix an error handling

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master' of ssh://git.lttng.org/home/git/lttng-tools

Fix missing headers

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix memory leaks and modify kernel session creation

Set the path of the kernel session in trace-kernel.c in order to
centralize that setup at only one place.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add UST trace data structure and functions

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix tests to fit renaming

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Rename trace.c/.h to trace-kernel

Note that the file only contains evidently kernel data structures and
functions signatures.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Check declaration of futex_async and update urcu needed version

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Init the kconsumerd error socket

The kconsumerd_error_socket must be initialised to a negative value when
we create the context, otherwise we don't know if it is defined or just
random.

Signed-off-by: Julien Desfossez <julien.desfossez@polymtl.ca>

Update version to 2.0-pre12

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix missing header in Makefile.am

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add support for UST application registration

This is a big commit ;)

Introduce two new threads and one almost rewritten. The first thread
added is the one that manage UST registration. This thread is *very*
lightweight and, basically, receive the registration request, queue it
in a lock free queue and wake up the dispatch thread (second new thread)
using a N wakers / 1 waiters futex scheme.

This dispatch thread will then dequeue and notify the application thread
(that manages application registration and monitor UST sockets). The
notification consist of sending the dequeued node (command) to the
application thread pipe where the application thread is blocked on
poll().

For now, the registration is handle meaning that the application will
get added to the session daemon internal data structures, the daemon
will send a REGISTER_DONE command to the application and, finally, end
the communication by waiting for the UST reply of the previous command.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Adding LTTng UST 2.0 ABI

Taken from the git head of UST.

Branch: lttng-ust-2.0
Commit id: 66c7df9e6c8b4e2ea609a7e3028346ada35ddaec

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add NULL pointer check

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix AUTHORS

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix headers include and rename kernctl.h header

Move kernctl.h to lttng-kernel-ctl.h into the include directory.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Cleanup comments and bad indent

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add missing error handling in liblttngctl

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

thread_manage_apps: update and comment socket handling

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Missing -k option in quickstart guide

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix incorrect thread cleanup on blocking recv()

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix tracing group spawning the session daemon

The check was incorrect for the session daemon path in the liblttngctl.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add lttng-modules detection for tests

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Callbacks on receive and update FD

The user of the lib can now take control over a new FD or the update
operation of an existing FD.
Opening the output tracefile is now the responsiblity of the user
and not the library itself.

[ Edit by Mathieu Desnoyers: comment and teardown cleanups ]

Signed-off-by: Julien Desfossez <julien.desfossez@polymtl.ca>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Parametrize enable-channel help

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Function to handle snapshots in liblttngkconsumerd

This patch adds the wrappers to take a snapshot for a specific FD and
to retrieve the produced position.
Also refactor the sync tracefile operation.

Signed-off-by: Julien Desfossez <julien.desfossez@polymtl.ca>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Set default number of metadata subbuffers to 2

LTTng uses a wait/wakeup scheme when the metadata buffer is full, so
there is no need to waste memory.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>