Fix: initialize live_timer to 0 for snapshot session

The live timer was being initialized to -1 for snapshot sessions,
instead of the expected default value of 0 used elsewhere in the code.

Fixes #879

Signed-off-by: Antoine Busque <abusque@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: correct mismatched function signatures

The extern declaration of `_lttng_create_session_ext` in `create.c`
had a superfluous `live_timer` parameter not present in the actual
function definition in `lttng_ctl.c`. The -1 value with which it was
called was therefore unused.

Signed-off-by: Antoine Busque <abusque@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clearer error reporting when failing to launch session daemon

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Daemonize sessiond on `lttng create`

Since the session daemon forked by `lttng create` shares its
standard output/error FDs when not using `--daemonize`, redirecting
the standard output/error of this command to another program "hangs"
because the session daemon never terminates.

Example that's not working (when sessiond is not running):

    lttng create | wc

or:

    lttng 2>&1 | wc

Using sessiond's `--daemonize` option makes it close its FDs. This
option also ensures that when the sessiond process exits, it has forked
itself as a daemon and is ready to accept commands. Therefore we don't
need to catch SIGCHLD and SIGUSR1; just waitpid() on sessiond's PID and
make sure it exited normally and with an exit status of 0 to continue.

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: consumer signal handling race

If a signal comes in after ctx has been destroyed, it will try to use a
closed file descriptor.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: list_ust_events(): dangling pointer

Fixes #908

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: MI: close domain when listing multiple agent domains

Without this patch, each agent domain gets nested under
the previous one.

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: expand UST wildcard tests, move to regression/tools

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: kernel filtering

Requires the new lttng-test.ko lttng-modules test module.

Fixes #921

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: use pid element instead of process element

v2: Include change to xsd. Looks like I forgot to squash it. I'll have to make
an offering to the git reflog god on this one.

For stable 2.7

This revert part of changes introduced by [1] and [2].

The use of process element break the existing MI xml api.

[1] 46ef4d0715faeef52cd2242b5b895c74507e223a
[2] a585578f837d992f00eba4f090c8ba251d9de94e

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: race between kconsumerd and sessiond on tear down

v2: minimize indentation by using return on condition.

Kconsumerd and sessiond both have reference on lttng-module. This can lead to a race
on modprobe_remove_lttng_all which might fail to unload modules due to
certain modules not having a ref count equal to zero at the time.

waitpid is used to force a synchronization on the child (kconsumer) termination.

This also have been applied to ust consumers for the sake of consistency.

Fixes: #878
Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Buggy string comparison in ust registry ht_match_event

The second strncmp compares the first "strlen(event->signature) != 0"
characters of the event signatures because of a missing parenthesis.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Bad cast of lttng_kernel_instrumentation to lttng_event_type

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Implicit cast from lttng_loglevel_type to lttng_ust_loglevel_type

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: lttng-crash: remove tmp working directory

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean up: Coding style conformance adjustments in lttng-crash.c

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: lttng-crash: DIR leak in delete_trace() on error

Implement a single return point in delete_trace() which ensures
that trace_dir is not leaked on error.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Possible passing of NULL pointer to memcpy()

_cmd_enable_event() will not jump to the error label in case of
memory allocation of the filter bytecode copy. This causes the NULL
return of zmalloc to be used by memcpy() directly.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Overwrite of ret in relay_recv_metadata

relay_recv_metadata() interchangeably uses ret and size_ret.
This causes ret to take various (positive) values in case
of success, most often corresponding to the size of the metadata
padding which was written during the call.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Silence undefined return value warning

clang-analyzer complains that "ret" may be returned uninitialized
which can't happen with a valid session configuration. For this to
occur, either libxml2 would have to return a bogus ChildElementCount
(return non-zero when there a actually no child nodes) _or_ the node
would have children of an unexpected type, which would be catched by
the validation performed against the XSD.

Nonetheless, the value is initialized here to silence this warning.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Silence use-after-free static analysis warning

clang-analyzer complains that cds_list_for_each_entry_safe()
makes use of "wait_node" after free. However, wait_node is only
used in __typeof__().

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Wait for in-flight data before closing a stream

A stream's closing conditions are evaluated in three places:
    1) When a close command is received
    2) When the control connection owning it is closed
    3) The stream has received all of its data following
       a close request.

These checks are performed in try_stream_close().

A known downside of this approach is that a stream will never
be closed if it has not received all of its data.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: unpublish stream on close

Fixes a race where data connection can still add indexes after close,
preventing graceful teardown of the stream.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: lttng-crash: fd leak

At the same time, make sure to have a single exit-point in copy_file().

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Invalid parameter error reported when untracking PID

The LTTng client reports an "Invalid parameter" error if a PID is
untracked from the userspace domain before any PID is tracked in that
domain.

Fixes #931

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: kernel track/untrack error handling

Fixes #918

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Python agent tests are always skipped

v2: Change the configure report section to emulate the java ust agent test
reporting.

Introduce --enable-test-python{2,3}-agent and --enable-test-python-agent-all
flag on configure.

Configure searches for the python agent for both Python 2 and 3 and
enables or skips their associated tests based on the result.

When using the --enable-test-python{2,3}-agent & --enable-test-python-agent-all
flags, a strict checks on tests dependancies is performed and fails the
configure instead of simply disabling the tests.

--disable* flags can be used to force tests skipping.

Also fixes a minor bug in agent test on enabling event with filtering.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Fix flaky live test client

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Announce empty streams on live attach

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: relayd: file rotation and live read

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: relay: viewer_get_next_index handle null vstream

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: relayd: make viewer streams consider metadata sent

The metadata stream does not use prev seq, and is therefore not sent to
viewers if we depend on prev seq. Use the metadata_received field
instead to achieve the same purpose: if a viewer try to attach to a
session that has not received metadata yet, it will get and error
(metadata stream cannot be found when attaching).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: don't expose empty streams

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: relayd: don't check new metadata on get packet

We only care about this when we get the next index. There may be new
metadata that appears between get next index and get packet, but it
should not matter.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: relayd: don't check for new streams in get packet

Only needed in get next index.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: ask new streams HUP

Test closed streams for content to check for HUP.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: reply error if get packet vstream fails

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: relayd reply error to client if cannot find viewer stream

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: relayd reply with error if cannot find metadata

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: ust-app: protect app socket protocol with lock

Many threads can access the application socket (cmd handling thread and
application handling thread) concurrently. Therefore, we need to protect
it with a mutex.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: privatize consumer_allocate_relayd_sock_pair

Only used in a single compilation unit.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: add missing rcu_barrier at end of sessiond main

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: add missing rcu_barrier at end of consumer main

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: app cmd leak on sessiond exit

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: relayd live don't send incomplete stream list

Sample the "closed" flag with session lock held.
Also, if the session connection is closed while we attach to it, reply
with HUP, because there are risks of attaching to an incomplete session
(e.g. the metadata stream could be already closed).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: consumer timer misses RCU thread registration

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: sessiond consumer thread should register as RCU thread

Fixes RCU race where objects are accessed by this thread under RCU
read-side lock after free. Since this thread is not a registered RCU
reader, the read-side lock has no effect.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: don't chain RCU free

We only do a single rcu_barrier() on teardown of sessiond. Therefore, if
we chain call_rcu, they may not all be executed before exit.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: free metadata cache after grace period in consumer

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: sessiond vs consumerd push/get metadata deadlock

We need to unlock the registry while we push metadata to break a
circular dependency between the consumerd metadata lock and the sessiond
registry lock. Indeed, pushing metadata to the consumerd awaits that it
gets pushed all the way to relayd, but doing so requires grabbing the
metadata lock. If a concurrent metadata request is being performed by
consumerd, this can try to grab the registry lock on the sessiond while
holding the metadata lock on the consumer daemon. Those push and pull
schemes are performed on two different bidirectionnal communication
sockets.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: streamline ret/errno of run_as()

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Double unlock on error path

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Data pending comment clarification in session daemon

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Relay daemon ownership and reference counting

The ownership and reference counting of the relay daemon is unclear and
buggy in many ways. It is the cause of memory corruptions, double-free,
leaks, segmentation faults, observed in various conditions.

Fix this situation by introducing a clear ownership and reference
counting scheme for this daemon.

See doc/relayd-architecture.txt for details.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Accept uid and gid parameters in utils_mkdir()/utils_mkdir_recursive()

utils_mkdir* utils may now be use in immediate or "run_as" mode.

This is done since some of the code shared between daemons calls
run_as directly, which doesn't support negative uid/gid (which we use
to mean "run as current user").

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: reference counting of consumer output

The UST app session has a reference on the consumer output object, but
it belongs to the UST session. Implement a refcounting scheme to ensure
it is not freed before all users are done using it.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: sessiond add missing socket close

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: sessiond should not error on channel creation vs app exit

We should not report an error when creating a channel if the application
is exiting concurrently.

Also, remove an inappropriate assert() in ust_app_create_event_glb: it
is possible to have a channel lookup fail if channel/event creation
occurs concurrently with an application exit.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: sessiond ust-app session teardown race

Add a deleted flag within the ust app session which is raised (with ust
app session lock held) at delete, and checked within each RCU traversal,
again with ust app session lock held.

This takes care of races between teardown of an application (unregister)
and execution of commands which are accessing the app session
concurrently.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Only display agent loglevel if the loglevel type is not ALL

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Initialize default log level of events on load

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Don't assume that Log4j and JUL share the same log level mappings

We explicitly set the log level of Log4j events to
LTTNG_LOGLEVEL_LOG4J_ALL instead of relying on the fact that
LTTNG_LOGLEVEL_LOG4J_ALL and LTTNG_LOGLEVEL_JUL_ALL are mapped to the
same value.

The resulting additional branch does not seem to incur a significant
performance penalty and, as such, is deemed acceptable.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Allow the creation of JUL, Log4j and Python channels

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Save tracker as part of UST and Kernel domains only

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Memory leak of agent

agent_destroy() has a comment which indicates that it does _not_
destroy the pointer passed to it and it seems that agents are
never realeased under any code path whatsoever.

There does not seem to be an instance where an agent is allocated on
the stack.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Memory leak of agent event internals

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Save filter expression as part of agent events and save them

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: UTF-8 characters may be stored on up to 4 bytes

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove unneeded hash table existence check in agent_destroy

This function can never be called if the agent failed to initialize
its hash table. If such a failure occurs, the agent constructor will
return NULL and its caller should handle the error.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove unnecessary RCU read lock

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Use type directly in sizeof instead of a dereferenced pointer

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Prevent the addition of UST events to agent channels

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Don't save log level in session configuration when unneeded

Saving the log level of events in session configurations when "ALL" log
levels are enabled may confuse both users and programs working with
session configurations.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove unneeded RCU lock

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove unneeded RCU lock

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Propagate filter status of kernel events to client

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Save kernel event filter when saving session configuration

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: there is no need to SHOUT in comments

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Mention Python as part of enable-event's usage()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Grammar fix in comment

give -> given

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: typo in error message

writting -> writing

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add agent domains to lttng enable-event usage()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: Add documentation explaining the meaning of "internal" events

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Report memory allocation failure when copying filter bytecode

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: cmd_enable_event must return positive error codes

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Ensure that a filter is always passed with its filter expression

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Save filter expressions as part of agent events

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add agent domains to the enable-event section of LTTNG(1)

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Use lttng_domain_type enumeration instead of bare integers

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Prevent disable event on internal UST events

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove unneeded RCU read lock

lttng_ht_get_count() now takes the RCU read lock automatically.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Skip internal events when saving a session configuration

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: Coding-style conformance adjustments

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: Clarify ominous comment wording

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Hide internal events from session daemon clients

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Prevent the use of reserved UST event names

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tag events created as side-effect of agent events as internal

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove unneeded RCU lock

lttng_ht_get_count() already holds the RCU read lock.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove dead code in lttng-sessiond

event_ust_enable_all_tracepoints and event_ust_disable_all_tracepoints
are both never used by the session daemon.

Ensure event names are NULL terminated during validation

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>