Add kernel snapshot support

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Support flight recorder mode for a session

This adds the --no-output option to the lttng UI which will flag a
session to not set an output destination meaning that tracing will be in
overwrite mode in the buffers.

This is also the only way for now to snapshot a session, it's to put it
in no output mode.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Implement snapshot commands in lttng-sessiond

Basic functionalities are implemented in the session daemon so handle
snapshots and send the command to the consumer but note that at this
commit the consumer does not handle snapshot.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add snapshot command to lttng UI

Signed-off-by: David Goulet <dgoulet@efficios.com>

Initial import of the snapshot ABI/API in lttng-ctl

Nothing on the session daemon side as been added except the command
values added to the process client command subsystem.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Use the consumer stream API in consumer_del_stream()

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add consumer-stream.c/.h in libconsumer

These new files contain relevant calls to a lttng_consumer_stream object
and for now breaks down consumer_del_stream() from consumer.c that got
out of hand in terms of size and can not be used if the stream was not
previously successfully sent to a thread making difficult the deletion
of a stream in some error path or in no monitor mode (future mode for
streams with snapshots) outside of this use case.

It helps also modularize the consumer object and makes the code easier
to maintain and to better evolve.

At this commit, no components use this yet. Future work will
incrementaly move every consumer stream specific actions to that
seperate API.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Move multiple URLs parsing fct from lttng-ctl to uri.c

Just move some functions around so we can use the multiple URLs parsing
to URIs function outside of liblttng-ctl.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add a lttng-ctl header to facilitate code separation

In order for lttng-ctl.c not to grow into an uncontrollable monster of
code, add this helper header and remove static declaration of some
functions to be exported out of the C file and set them hidden.

Future work on snapshot and trigger will use it in order to better split
the code into different files.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to v2.2.0

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: build path for unit test to build out of tree

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: if relayd is unreachable, disable consumer for the session

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: possible infinite loop in disable ust event

Fixes #575

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't enable a channel if a session was already started

This removes also the check done to start the session if it was started
before.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: bad type for the relayd id

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add debug statement in kernel flush metadata

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: destroy default created channel if add-context fails

Fixes #554

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: clarify tracefile size/count in lttng.1 man

Fixes #572

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't stop a session that was not previously started

Fixes #567

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: update lttng.1 man page

Fixes #571

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: bad protocol flow between sessiond and consumerd

Also, the error handling was wrong for some error path.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: kernel memory leak in error path

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to v2.2.0-rc3

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: --disable-static option

Fixes #562

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing file for make dist

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: channel and stream leak in consumerd

Multiple error paths were possibly leaking channel and stream structure
in the lttng-consumerd.

This has been detected by the stress test killing the relayd randomly
during a long period of time.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumer add channel return value was positive on error

Reported-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong check after malloc in buffer registry

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: change an ERR message to a DBG

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Fix wrong number of tests in thread stall as root test

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: set +x to test helper script

Signed-off-by: David Goulet <dgoulet@efficios.com>

Test: add new stress test that kills the relayd randomly

Signed-off-by: David Goulet <dgoulet@efficios.com>

Using LTTNG_HOME environment variable if exists, with fallback to HOME

Fix: remove use of stat()

1019896 Time of check time of use
In utils_mkdir_recursive: A check occurs on a file's attributes before
the file is used in a privileged operation, but things may have changed
(CWE-367)

mkdir() is already doing the EEXIST check.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: out of bound strcpy

1019904 Copy into fixed size buffer
In add_context: A source buffer of statically unknown size is copied
into a fixed-size destination buffer (CWE-120)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove logically dead code

1019963 Logically dead code
In list_sessions: Code can never be reached because of a logical
contradiction (CWE-561)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: handle close return value

1019968 Unchecked return value
In lttng_health_check: Value returned from a function is not checked for
errors before being used (CWE-252)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove useless if() check

1022350 Dereference before null check
In ust_registry_session_destroy: All paths that lead to this null
pointer comparison already dereference the pointer earlier (CWE-476)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: goto error_fatal on lttng_kconsumer_recv_cmd errors

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: goto error_fatal on lttng_ustconsumer_recv_cmd errors

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: unnecessarily large memory allocation

1019911 Wrong sizeof argument
In consumer_thread_data_poll: The sizeof operator is invoked on the
wrong argument (CWE-569)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: comparing array against NULL

1019939 Array compared against 0
In process_client_msg: Array compared against NULL pointer (CWE-398)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: Remove reference to lttng-probe-lttng kernel module

The lttng-probe-lttng module was removed as part of lttng-modules
commit 662ed1665428b38ee00d4be5751581108bf35390

Fixes #553

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memleak in liblttng-ctl visit_node_load()

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memleak in the UST registry

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing free causing a memleak

Also remove a unused variable in the ust registry event structure.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memleaks in channel/event notify

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: sanitize wait queue in the dispatch thread

This is to avoid memory leaks when the notify socket is never received
thus cleaning the wait node for command socket that are invalid.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Implement health check for app registration dispatch

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Implement health check for app notification thread

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: hash table cleanup call_rcu deadlock

Implement hash table cleanup thread so HT cleanup never deadlocks on
resize in progress.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix ua_chan assert

delete_ust_app() can remove a channel objd from the hash table
concurrently with notify

Fix #560

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: poll compat layer reallocation new size

The size was doubled but in fact it should have been checked for the
maximum between the number of fd doubled and the alloc size doubled
(divised by two when shrinking the buffer).

Same goes for the shrink process. For that, get_count_order_u32() is
added to utils.c/.h.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove nonblock flag of sessiond socket in consumer

There is no need for non blocking socket. Furthermore, we have observed
unstable behaviors with a non blocking side (consumer) and a blocking
side (sessiond).

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing ht iter node assignment in channel thread

Fixes #547

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Missing RCU locks on access to consumerd's channel ht

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Revert "Improve channel listing output format"

This changed the text output *after* rc1. We'll keep this in the back
burner for 2.3.

This reverts commit e78de861055e6288d11348866681d1373ed81aec.

Fix: add more conditions and a lock to metadata cache flushed

Some more conditions applies to return if the metadata cache is indeed
flushed. If no metadata stream is found or the endpoint status is set to
something other than ACTIVE, this means the channel is being (or will
be) destroyed thus the metadata cache can't be updated so is indeed
"flushed".

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Acked-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: set metadata closed on a push/close metadata error

Check the metadata closed flag before pushing and closing the metadata
on the consumer side. On any error from those two actions, the closed
flag is set to indicate to stop using the metadata registry until a
destroy is done.

Also, before creating a metadata, a check is done to see if the registry
metadata was closed previously or else a new metadata key is created and
the old values from the previous channel in the registry are used
causing a bad state on the consumer.

With per UID buffers, the metadata cache is shared accross multiple
applications so if the metadata buffers were deleted on the consumer for
whatever reasons, we must STOP using it or else undesired behaviors have
been observed such as causing synchronization issues between the state
of the consumer and sessiond.

A destroy session command will wipe the faulty metadata.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Acked-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: skip metadata flushed check if write failed

On a metadata cache write failure, we now skip the metadata flushed
check or else an infinite loop could have been possible.

Acked-by: Julien Desfossez <julien.desfossez@efficios.com>
Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove one too many metadata refcount increment

The refcount increment is removed from the add metadata stream function
so for both kernel and UST, the increment is done once the stream is
allocated and the channel reference is set.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing buffer registry cleanup on error

Fixes #542

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: dereference after NULL check

From coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove dead code

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong size in memcpy of kernel channel padding

Issue 1019925 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: typo when closing the consumer client socket

Issue 1019917 of covertiry scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Add multi session per UID with 5 app in streaming mode

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Add stress test for multi session per UID

For this test, 10 applications are used with 5 sessions set with per UID
buffers.

A helper script is also added which launch applications with given
parameters. A README file is also present to help developers/users use
the stress tests correctly.

Stress tests save the stderr/stdout of the session daemon in a log file
and core dump created using the name found in core_pattern (in /proc).

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: get consumer lock before closing/pushing metadata

This is to ensure the validity of the metadata stream in the channel
before closing or pushing the metadata on it.

Fixes #536

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: set channel key to message on notify channel

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: increment channel refcount on add_stream

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: error handling in kernel add_channel

consumer_add_channel can return an error, it needs to be handled. Also,
init_kernel_tracing returns a positive lttng_error_code on error, so the
check in start_kernel_session needs to be for ret != 0.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: close wait_fd on kernel tracing

The wait_fd in the kernel consumer streams was not closed causing a leak
of FDs in the consumer and never triggering the teardown mechanism in
the kernel tracer. This applies for metadata and data stream.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Fix possible segfault in health check thread exit test

The testpoints in the thread_manage_clients and thread_manage_apps are
called after a rcu_register_thread() call. The testpoints were not
unregistering their respective thread which could later on cause a
segfault when shutting down the session daemon.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: use lttng pipe to send new stream to thread

Signed-off-by: David Goulet <dgoulet@efficios.com>

Change consumer_metadata_pipe to be a lttng_pipe

The read() call in the metadata thread is also changed to use the lttng
pipe read wrapper.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Change consumer_data_pipe to be a lttng_pipe

Also, an important change here is that this pipe is no longer in non
block mode. Before sending stream's pointer over this pipe, only one
byte was written thus making it unlikely to fail in a read/write race
condition between threads. Now, 4 bytes are written so keeping this pipe
non block with threads is a bit of a "looking for trouble situation".

The lttng pipe wrappers make sure that the read and write side are
synchronized between threads using a mutex for each side. Furthermore,
the read and write handle partial I/O and EINTR meaning that once the
call returns we are sure that either everything was read/written or an
error occured thus making it not possible for the read side to block
indefinitely after a poll event.

Fixes #475

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add wrappers for pipe

This is to help use pipes in a way where partial read/write and EINTR
are handled in one single call site.

Two new files are created, pipe.c/.h which are part of libcommon. The
open, close, read_close, write_close, read and write calls are
implemented using a custom lttng_pipe data structure and protected by
operation's mutex. A destroy function is also available to cleanup
memory once done with a pipe.

The motivation behind this patch is for some upcoming fixes that deals
with a race condition between read and write on a pipe in the consumer.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: increment UST channel refcount at stream creation

Having the channel refcount incremented only when the stream is sent to a
thread could triggered a segfault with a race between a channel destroyed by
the channel thread and the stream pointers being inflight in the thread pipe.

Once read from the pipe, the streams are added to the data thread poll set and
immediately destroyed since the channel has hung up previously but the flush
buffer segfaulted on the channel that was already deleted by the channel thread
with a refcount set to 0.

This is fixed by incrementing the channel refcount once the stream is created
and the channel reference is set to it. This is done *before* the channel
object is visible in the channel thread. Now the channel thread detects the
hang up but will not destroy the channel because of the refcount > 0. The
channel cleanup will be done by the last stream hanging up.

Fixes #530

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: update tracer version in lttng-sessiond.8 and lttng.1

Fixes #535

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: use memset instead of poll reset for poll init

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update README

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: epoll attributes used outside of compat layer

This was breaking the poll() support. A lttng_poll_init is added which
basically resets the lttng poll event data structure and in the case of
epoll sets the epfd to -1.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Remove temporary trace directory on bail-out

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Fix the number of tests in test_tracefile_count

The number of planned tests is dependent on the number of streams (1 per
cpu).

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Add the tracefile size test

This test validate the newly introduced tracefile count feature.  In
order to so, we enable a channel with the appropriate file size limits.

After running an instrumented application, we validate that each file in
the trace folder is no larger than the limit set on the command line and
also that some events are present (it's possible that the tracer discard
events, so we can't validate on a fixed number of events in the
resulting trace).

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Add the tracefile count test

This test validate the newly introduced tracefile count feature.  In
order to so, we enable a channel with the appropriate limits in
overwrite mode. The later constraint is to ensure that at least the last
few events are properly recorded and that we can validate that they are
present in the resulting trace (with the help of babeltrace and
babelstats).

We also validate that the tracefile count (per stream) in the trace
folder is conform to the one passed on the command line.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Move the babelstats utility to tests/utils

This utility will prove useful in trace validation for other tests, so
put it in a common location accessible by the tests.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Read from pointer after free in unit tests

Issue 1019886 and 1019887 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Read from pointer after free

Also, a fd leak is fixed in an error path in the same thread.

Issue 1019889 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Uninitialized scalar variable in consumer

In notify_channel_pipe: Use of an uninitialized variable (CWE-457).

Issue 1019894 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Uninitialized pointer read

The lttng poll clean call is slightly changed to handle negative epoll
fd so we don't close anything blindly creating perror() outputs for
nothing.

Issue 1019895 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: fd leak in process client msg error path

The process_client_msg() function could return an error but no
sock_error. In any case, we have to close the socket since a TODO is
still there indicating that we need to reply to the client to inform of
the error.

Issue 1019920 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memory leak in UST unit test

Issue 1019913 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memory leak in URI unit test

Issue 1019914 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: close fd on create unix sock error path

Issue 1019915 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memory leak in error path in UST registry

Issue 1019919 and 1019918 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memory leak in sessiond command in error path

Issue 1019921 of coverity scan.

More leaks were found of the same type also.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: kernel metadata data leak in error path

Issue 1019922 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: data leak in error path of cmd_register_consumer()

Issue 1019923 of coverity scan.

Signed-off-by: David Goulet <dgoulet@efficios.com>