Fix: data pending: allow empty streams

There are cases where a stream can be completely empty (no packet to
write) with UST: for instance, if a traced application is either
preempted for a long time, terminated, or stopped, between reserve and
commit. This will make the consumer consider that this stream has no
data ready. If this situation occurs in the first sub-buffer of a
stream, this stream will have no data at all (0 bytes).

Therefore, we need to let the data pending check consider that no data
is pending in this situation, otherwise it can make the data pending
check always return that there is data pending.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: ust snapshot: cleanup after error

The "break" statement on error skips the rest of the functions, thus
leaving test applications running after the end of the test, which is a
side-effect on the following tests.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: add missing RCU read unlock

Master commit 24eb8569dc841f318d7964ca9a0ad0a4f9508a8e
"Fix: Missing RCU read locks in syscall_list_channel()"

Introduces unbalanced RCU read-side lock/unlock. Should be applied to
master and stable-2.6.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Update version to v2.6.0-rc4

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: don't destroy the sockets if the snapshot was successful

Missing a goto to skip the error condition that was destroying the
relayd sockets even if a snapshot was successful. We want to keep them
open to reuse them for the next snapshots.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Missing RCU read locks in syscall_list_channel()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Missing RCU read lock in kernel_destroy_session()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: channel names are not validated

This patch ensures:

  1. A channel name does not contain any '/' character, since
     relative paths may be injected in the channel name
     otherwise (knowing that the channel name is eventually
     part of a file name)
  2. A channel name does not start with a '.' character, since
     trace readers (Babeltrace is one of them) could interpret
     files starting with a dot as hidden files and ignore
     them when opening the CTF trace

Fixes: #751
Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Apply consumer URI changes to all domains

See the associated bug report for a lenghty explanation of the issue
and of this fix. It fixes an issue when saving a live session's
configuration that was created by loading an .lttng file.

Fixes #866

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Test fix: Don't invoke the system's lttng client

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Add a test to check disabled events are loaded in the correct state

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Don't leave events enabled if they were saved in a disabled state

Events are enabled by default on creation. The session configuration
loader must make sure to disable them after creation when restoring an
event that was saved in the "disabled" state.

Reported-by: Marcel Hamer <marcel.hamer@ericsson.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: "Any" loglevel's value is -1 and not 0

lttng_disable_event_ext() was erroring-out on loglevel != 0.
loglevel 0 is a valid level whereas "-1" is used an unknown/unspecified
in the rest of the code.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Test fix: LTTNG_SESSION_CONFIG_XSD_PATH expects an absolute path

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Memory leak on error in alloc_argv_from_user_opts()

*** CID 1256181:  Resource leak  (RESOURCE_LEAK)

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Unreachable error logging in set_option()

*** CID 1256136:  Logically dead code  (DEADCODE)

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: OOM leaks in sessiond modprobe.c

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: test_utils_expand_path.c: out of memory error handling

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: test test_ust_data.c: check OOM

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: test libc-wrapper: check malloc OOM

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: lttng-ctl: use zmalloc(), missing OOM check

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: filter-parser.y: use zmalloc(), missing OOM check

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: utils.c: check str*dup OOM

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: rculfhash: use zmalloc()

Follow lttng-tools rules.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: ini.c: use zmalloc()

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: lttng lttng.c: check strdup OOM

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: lttng conf.c: use zmalloc()

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: lttng view.c missing strdup OOM check

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: use zmalloc() in lttng view.c

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: use zmalloc() in lttng list.c

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: oom error check, realloc oom leak

print_exclusions can return a NULL pointer on OOM, should be checked.
Also, realloc always need to store result in a different variable than
its input in case it fails (and its returned pointer needs to be checked
for NULL).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: use zmalloc in lttng enable_events.c

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: missing strdup oom check in lttng create.c

Introduce tmp_path to ensure that no code path can possibly try to free
the return value of utils_get_home_dir(). Re-using alloc_path for both
static and dynamically allocated pointer is error-prone.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: lttng add_context.c: use zmalloc

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: add missing str*dup oom check in sessiond main.c

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: add missing sessiond kernel-consumer missing str*dup oom checks

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: add missing strdup OOM check

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: Live tracing does not honor live timer after first tracefile with tracefile rotation

When we pass to the 2nd sub-file (or following sub-files) of a stream in
relayd, the live timer has no visible effect from a live reader
perspective, and then everything is flushed when we reach the following
sub-file.

This is caused by the reset of stream->total_index_received after each
tracefile rotation. It should keep on incrementing to match what is
expected by check in check_index_status():

  (rstream->total_index_received <= vstream->last_sent_index)

Fixes #863

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Handle empty daemon configuration file lines

Empty daemon configuration file lines such as
my_option=

will cause set_option to be called with an arg value of length 0
which should display a warning.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: Add -f/--config option to lttng-sessiond man page

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: relayd: unbalanced RCU read-side lock/unlock

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: relayd: unbalanced RCU read lock/unlock

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: lttng-relayd: unhandled out of memory error

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: relayd viewer stream: unhandled out of memory error

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Missing rcu_read_lock in cmd_list_events()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Missing rcu_read_lock in list_lttng_agent_events()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Missing rcu_read_lock in cmd_list_channels()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Missing rcu_read_locks in cmd_list_domains()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Missing rcu_read_lock in cmd_snapshot_list_outputs()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Missing rcu_read_lock in save_domains()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Missing rcu_read_lock in ust_app_get_nb_stream()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: UST subbuffers silently dropped on moderate trace traffic

Well, it looks like we really screwed up on this one.

lttng-tools commit 02b3d1769d5f8a33e4109b1e681141c9295dfda6 introduced
an important regression for lttng-ust tracing in the consumer daemon:
after reading a sub-buffer, a check has been added to see whether there
are more sub-buffers available to read, and if it is the case, it
ensures the wakeup pipe will be awakened again.

The issue lies in the use of ustctl_put_next_subbuf() in this check.
This acts as if the sub-buffer has been read, when in reality it has not
been read. It therefore trashes the data contained by this sub-buffer.

This check should use ustctl_put_subbuf(), which does not move the
consumer position.

This is a severe bug, and the fix needs to be applied to stable-2.6,
stable-2.5, and stable-2.4.

Fixes #861

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Missing rcu_read_lock in get_session_max_subbuf_size()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: create/destroy a splice_pipe per stream

We had a per-thread splice_pipe (one for data and one for metadata), but
in case of error, we would end up filling the write side of the pipe and
never emptying it. This could lead to leaking data from one session to
the other, but also to stall the consumer trying to splice into a full
pipe.

Now we create a splice_pipe per-stream, so it is destroyed when the
session is destroyed.

Fixes: #726
Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: return EINVAL if agent registration fails

The errno value might be 0 thus not returning an error if so. It has
been seen with an unstable python agent code base which means it could
happen in the future if a third part decides to create an agent.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Note find_ust_app_context must be called with RCU read lock

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: check userspace perf counter name when looking up contexts

create_ust_app_channel_context() looks for a context's existance
in a channel before adding it. However, it only checks for
context types. This is valid for all context types except for
LTTNG_UST_CONTEXT_PERF_THREAD_COUNTER since multiple perf
thread counters may be enabled at the same time.

This fix ensures that the perf counter name is taken into
consideration when checking for a context's presence in a
channel.

Reported-by: Alexander Grigoriev <alexgri@tbricks.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: empty indexes_ht before destroying it.

Fixes: #722
Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: removed useless key from relay_index

This field was never used except in debug messages (instead of using the
good value that is part of index_n).

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Ambiguous agent event filter bytecode ownership

A shared ownership of the filter bytecode between UST events
and Agent event led to a leak in cmd_enable_event() which was
fixed previously. However, that fix introduced a bug which
passed NULL to the agent event creation function.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: filter bytecode and string memory leak on error

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: HT must not be destroyed with a rcu_read_lock held

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: agent events HT should be destroyed from the cleanup thread

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: missing rcu_read_lock in trace_ust_destroy_session()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: missing rcu_read_lock when calling trace_ust_find_agent()

Added a comment to note that this function is assumed to be
called with the rcu_read_lock held.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: missing rcu_read_lock in cmd_start_trace()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: filter attach vs event enable race

In order to correctly handle the use-case where events are enabled
_after_ trace is started, and _after_ applications are already being
traced, the event should be created in a "disabled" state, so that it
does not trace events until its filter is attached.

This fix needs to be done both in lttng-tools and lttng-ust. In order to
keep ABI compatibility between tools and ust within a stable release
cycle, we introduce a new "disabled" within struct lttng_ust_event
padding (previously zeroed). Newer LTTng-UST checks this flag, and
fallback on the old racy behavior (enabling the event on creation) if it
is unset.

Therefore, old session daemon works with newer lttng-ust of the same
stable release, and vice-versa. However, building lttng-tools requires
an upgraded lttng-ust, which contains the communication protocol with
the new "disabled" field.

This patch should be backported to stable-2.4, stable-2.5, stable-2.6
branches.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Mark libxml2 as a mandatory dependency

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Warn the user when enabling an event in a new domain

This patch warn the user when trying to enable an event in a new domain
that was not configured prior to the tracing start.

Fixes #826

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Don't report an error when listing a session with no channels

The LTTng sessiond daemon reports an error when the list_channel
command is invoked on a session which only has a metadata channel.

The error lies in assuming that a session which has an enabled
domains also has (user-visible) channels.

The metadata channel should be listed in a future fix.

Fixes #855

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Add missing URCU_TLS access to error_log_time

Fixes #849

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Update maintainer section of the man pages

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Update maintainer section of README.md

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Update version to v2.6.0-rc3

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: add README.md to documentation files

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: UST consumer sync all available metadata

In live mode, the sync metadata function was only working on one single
metadata stream of a given session ID. However, we can have multiple
metadata stream for the same session ID thus failing to send the data in
live mode correctly for the other streams.

This fixes it by simply iterating over all metadata stream for a session
ID and syncing them all.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Test: remove bogus argument from prove invocation

An argument of "$2" was added to the prove command line in tests/run.sh
by 68270f0f604e "Mi test: Basic test structure". This is harmless since
run.sh is never called with more than one argument, but it is confusing,
and it breaks patches in OE that add support for running tests on the
target.

Signed-off-by: Nathan Lynch <nathan_lynch@mentor.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to v2.6.0-rc2

Signed-off-by: David Goulet <dgoulet@efficios.com>

Use lttng-modules ABI version ioctl

Check compatibility between lttng-modules and tools using a version
numbering specifically for the ABI, rather than relying on the major
version of lttng-modules per se. This takes into account that we
sometimes depend on lock-step updates of the toolchain, including
tools and modules.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: syscall list ioctl number conflict

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to v2.6.0-rc1

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update man page with LOG4J information

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add log4j values to mi XML schema

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing headers to makefile for dist tarball

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: initialize context list node on creation

This is to avoid a segfault when destroying a kernel context that has
not been added to a channel.

Fixes #845

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: update man page with log4j option

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: support log4j loglevel in mi

To achieve this, a couple of functions needed to send the domain of the
event so we can use the right loglevel according to the domain.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add log4j domain to session.xsd

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add log4j to lttng list help

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Don't save an empty <contexts> node in kernel channels

An empty <contexts/> node is saved when kernel channels are
saved even when no kernel contexts are enabled.

Note that this is a minor fix as the generated XML remains valid
anyhow.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: save UST context informations as a event_perf_context_type

This fixes UST perf counters not being recognized by the session
restore code at the linting stage.

Reported-by: Philipe Proulx <philippe.proulx@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: handle kernel event type correctly on enable

Signed-off-by: David Goulet <dgoulet@efficios.com>

Test: Add syscall listing

For both available syscall and session event.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: set hidden attribute to all public mi functions

Reported-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: set the hidden attribute to a filter function in liblttng-ctl

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: handle sysconf possible negative returned value

Fixes Coverity issue 1019947.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: channel deref. after NULL check in kernel consumer

Fixes Coverity issue 1040158.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: check for kernel session metadata during init

Fixes Coverity issue 1040159.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: cmd snapshot record output can't be NULL

The session daemon calls cmd_record_snapshot always with a valid
pointer.

Fixes Coverity issue 1047269.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: incorrect cast in ust consumer assert

Fixes Coverity issue 1068813.

Signed-off-by: David Goulet <dgoulet@efficios.com>