Fix: snapshot support for UST and kernel in same session

Signed-off-by: David Goulet <dgoulet@efficios.com>

Implement lttng create --snapshot command

This is to ease the life of the user creating a session in snapshot
mode using the new API call.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add create session snapshot API in lttng-sessiond

This commit adds the "lttng_create_session_snapshot()" call to the API
which will create on the session daemon a session in snapshot mode
meaning that all channel will be in overwrite mode and mmap output.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add snapshot output init call that uses URIs

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumer err_sock cloexec

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Callsite: add "ip" context

Support ip context in lttng add-context -t.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: possible consumer sockets double close on cleanup

Signed-off-by: David Goulet <dgoulet@efficios.com>

Automatically load kvm-x86 and kvm-x86-mmu probes.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Mohamad Gebai <mohamad.gebai@polymtl.ca>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumer: use uint64_t for all sessiond_id

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: add gpl and lgpl files to tarball

Fixes #581

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't install libtap system wide

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: close consumer sockets in sessiond cleanup

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: set globally visible flag to kernel stream

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: lttng: memory leak in snapshot record command

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: kernel-consumer: double-close

check for -1 out_fd

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: consumer: incorrect size zmalloc

Also, check return value.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: don't try to send stream to relayd if not in streaming

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: relayd refcount updates for stream

Increment refcount only when the stream was successfully sent to the
relayd and set the new stream's flag "sent_to_relayd" which is used
before the refcount update when closing the relayd. A stream that was
unable to be sent, the close relayd code path does not decrement the
refcount anymore.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't send error to sessiond on orderly shutdown

The send always fail if the sessiond has closed the socket so no point
of trying to send an error.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: bad pathname used when sending kernel stream to relayd

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add globally visible flag in stream

This flag is added so we can destroy it correctly with the
consumer-stream API.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: destroy metadata stream on setup metadata error path

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: send kernel stream to relayd only if needed

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: destroy streams for kernel snapshot sessions as well

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: close and destroy metadata stream after a kernel snapshot

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: print errno message on connect() error

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: possible double-close on stream out_fd

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: session ID signess to uin64_t in sessiond

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: fix validation trace path in kernel snapshot

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Add UST snapshot local and streaming

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add UST snapshot support

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumer_add_relayd_socket() report errors to sessiond

Wait until the side-effect to relayd is actually performed before
replying that "all is fine" to sessiond.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: add missing enum lttcomm_return_code entries

Those should not appear as unknown.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: UST per-UID channels persist across application teardown

Fixes #582

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: kernel snapshot metadata handling and error paths

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: coding style and debug statement

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: put subbuffer back in kernel snapshot error path

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: overflow in uri_to_str_url

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: detect the correct version of LTTng-UST

Fixes #580

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: sessiond: use uint64_t for all session ids

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: add kernel snapshot streaming to root regression

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: remove debug output from test

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Add kernel snapshot streaming

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: use snapshot consumer output for kernel

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: periodical flush check trace before stop

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumer: 64-bit index for relayd rather than 32-bit (v2)

Relayd "unique" ids wrap every 32-bit, and in some cases, negative
values are considered as error.

Change this to make the error value specifically -1ULL, use a direct
comparison (since we use an unsigned 64-bit integer, comparison with 0
becomes incorrect).

Since we now use a 64-bit ID, it is assumed to _never_ wrap-around
(remember, value -1ULL is an _error_). Therefore,
consumer_add_relayd_socket() can become much more strict than it was:
instead of accepting re-use of net_seq_idx, we can now assert that upon
LTTNG_STREAM_CONTROL socket, we have indeed allocated a relayd object,
and upon LTTNG_STREAM_DATA, we have found a relayd object.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix UST channel/stream output assignation

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: send per-pid session id in channel creation

The registry indexing for per-pid sessions is done with a per-pid
session id. So for per-pid buffers, we need to send the per-pid session
id as well as the global session id to the consumer in order to give it
enough information if it needs to request metadata later.

This patch adds the session_id_per_pid to the channel creation message
and to the consumer. When the sessiond receives a metadata_request,
depending on the buffer type (per-pid or per-uid), it selects the right
id to do the registry lookup.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>
Conflicts:
src/bin/lttng-sessiond/consumer.c
src/bin/lttng-sessiond/consumer.h
src/bin/lttng-sessiond/ust-consumer.c
src/common/consumer.c
src/common/consumer.h
src/common/kernel-consumer/kernel-consumer.c
src/common/sessiond-comm/sessiond-comm.h
src/common/ust-consumer/ust-consumer.c

Fix: consumer double-close on error

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update URCU detection to correctly check for a 0.7 version

Signed-off-by: Yannick Brosseau <yannick.brosseau@gmail.com>

Fix: snapshot path

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add utils function to format current time as a string

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: set hidden attribute to utils_* calls

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumer handling of metadata for relayd

This patch sends the metadata stream to relayd and close it once done.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add kernel snapshot support

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Support flight recorder mode for a session

This adds the --no-output option to the lttng UI which will flag a
session to not set an output destination meaning that tracing will be in
overwrite mode in the buffers.

This is also the only way for now to snapshot a session, it's to put it
in no output mode.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Implement snapshot commands in lttng-sessiond

Basic functionalities are implemented in the session daemon so handle
snapshots and send the command to the consumer but note that at this
commit the consumer does not handle snapshot.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add snapshot command to lttng UI

Signed-off-by: David Goulet <dgoulet@efficios.com>

Initial import of the snapshot ABI/API in lttng-ctl

Nothing on the session daemon side as been added except the command
values added to the process client command subsystem.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Use the consumer stream API in consumer_del_stream()

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add consumer-stream.c/.h in libconsumer

These new files contain relevant calls to a lttng_consumer_stream object
and for now breaks down consumer_del_stream() from consumer.c that got
out of hand in terms of size and can not be used if the stream was not
previously successfully sent to a thread making difficult the deletion
of a stream in some error path or in no monitor mode (future mode for
streams with snapshots) outside of this use case.

It helps also modularize the consumer object and makes the code easier
to maintain and to better evolve.

At this commit, no components use this yet. Future work will
incrementaly move every consumer stream specific actions to that
seperate API.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Move multiple URLs parsing fct from lttng-ctl to uri.c

Just move some functions around so we can use the multiple URLs parsing
to URIs function outside of liblttng-ctl.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add a lttng-ctl header to facilitate code separation

In order for lttng-ctl.c not to grow into an uncontrollable monster of
code, add this helper header and remove static declaration of some
functions to be exported out of the C file and set them hidden.

Future work on snapshot and trigger will use it in order to better split
the code into different files.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to v2.2.0

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: build path for unit test to build out of tree

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: if relayd is unreachable, disable consumer for the session

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: possible infinite loop in disable ust event

Fixes #575

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't enable a channel if a session was already started

This removes also the check done to start the session if it was started
before.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: bad type for the relayd id

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add debug statement in kernel flush metadata

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: destroy default created channel if add-context fails

Fixes #554

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: clarify tracefile size/count in lttng.1 man

Fixes #572

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't stop a session that was not previously started

Fixes #567

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: update lttng.1 man page

Fixes #571

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: bad protocol flow between sessiond and consumerd

Also, the error handling was wrong for some error path.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: kernel memory leak in error path

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to v2.2.0-rc3

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: --disable-static option

Fixes #562

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing file for make dist

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: channel and stream leak in consumerd

Multiple error paths were possibly leaking channel and stream structure
in the lttng-consumerd.

This has been detected by the stress test killing the relayd randomly
during a long period of time.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumer add channel return value was positive on error

Reported-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong check after malloc in buffer registry

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: change an ERR message to a DBG

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Fix wrong number of tests in thread stall as root test

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: set +x to test helper script

Signed-off-by: David Goulet <dgoulet@efficios.com>

Test: add new stress test that kills the relayd randomly

Signed-off-by: David Goulet <dgoulet@efficios.com>

Using LTTNG_HOME environment variable if exists, with fallback to HOME

Fix: remove use of stat()

1019896 Time of check time of use
In utils_mkdir_recursive: A check occurs on a file's attributes before
the file is used in a privileged operation, but things may have changed
(CWE-367)

mkdir() is already doing the EEXIST check.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: out of bound strcpy

1019904 Copy into fixed size buffer
In add_context: A source buffer of statically unknown size is copied
into a fixed-size destination buffer (CWE-120)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove logically dead code

1019963 Logically dead code
In list_sessions: Code can never be reached because of a logical
contradiction (CWE-561)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: handle close return value

1019968 Unchecked return value
In lttng_health_check: Value returned from a function is not checked for
errors before being used (CWE-252)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove useless if() check

1022350 Dereference before null check
In ust_registry_session_destroy: All paths that lead to this null
pointer comparison already dereference the pointer earlier (CWE-476)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: goto error_fatal on lttng_kconsumer_recv_cmd errors

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: goto error_fatal on lttng_ustconsumer_recv_cmd errors

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: unnecessarily large memory allocation

1019911 Wrong sizeof argument
In consumer_thread_data_poll: The sizeof operator is invoked on the
wrong argument (CWE-569)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: comparing array against NULL

1019939 Array compared against 0
In process_client_msg: Array compared against NULL pointer (CWE-398)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: Remove reference to lttng-probe-lttng kernel module

The lttng-probe-lttng module was removed as part of lttng-modules
commit 662ed1665428b38ee00d4be5751581108bf35390

Fixes #553

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memleak in liblttng-ctl visit_node_load()

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memleak in the UST registry

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing free causing a memleak

Also remove a unused variable in the ust registry event structure.

Signed-off-by: David Goulet <dgoulet@efficios.com>