Fix: relayd live don't send incomplete stream list

Sample the "closed" flag with session lock held.
Also, if the session connection is closed while we attach to it, reply
with HUP, because there are risks of attaching to an incomplete session
(e.g. the metadata stream could be already closed).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: consumer timer misses RCU thread registration

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: sessiond consumer thread should register as RCU thread

Fixes RCU race where objects are accessed by this thread under RCU
read-side lock after free. Since this thread is not a registered RCU
reader, the read-side lock has no effect.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: don't chain RCU free

We only do a single rcu_barrier() on teardown of sessiond. Therefore, if
we chain call_rcu, they may not all be executed before exit.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: free metadata cache after grace period in consumer

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: sessiond vs consumerd push/get metadata deadlock

We need to unlock the registry while we push metadata to break a
circular dependency between the consumerd metadata lock and the sessiond
registry lock. Indeed, pushing metadata to the consumerd awaits that it
gets pushed all the way to relayd, but doing so requires grabbing the
metadata lock. If a concurrent metadata request is being performed by
consumerd, this can try to grab the registry lock on the sessiond while
holding the metadata lock on the consumer daemon. Those push and pull
schemes are performed on two different bidirectionnal communication
sockets.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: streamline ret/errno of run_as()

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Double unlock on error path

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Data pending comment clarification in session daemon

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Relay daemon ownership and reference counting

The ownership and reference counting of the relay daemon is unclear and
buggy in many ways. It is the cause of memory corruptions, double-free,
leaks, segmentation faults, observed in various conditions.

Fix this situation by introducing a clear ownership and reference
counting scheme for this daemon.

See doc/relayd-architecture.txt for details.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Accept uid and gid parameters in utils_mkdir()/utils_mkdir_recursive()

utils_mkdir* utils may now be use in immediate or "run_as" mode.

This is done since some of the code shared between daemons calls
run_as directly, which doesn't support negative uid/gid (which we use
to mean "run as current user").

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: reference counting of consumer output

The UST app session has a reference on the consumer output object, but
it belongs to the UST session. Implement a refcounting scheme to ensure
it is not freed before all users are done using it.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: sessiond add missing socket close

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: sessiond should not error on channel creation vs app exit

We should not report an error when creating a channel if the application
is exiting concurrently.

Also, remove an inappropriate assert() in ust_app_create_event_glb: it
is possible to have a channel lookup fail if channel/event creation
occurs concurrently with an application exit.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: sessiond ust-app session teardown race

Add a deleted flag within the ust app session which is raised (with ust
app session lock held) at delete, and checked within each RCU traversal,
again with ust app session lock held.

This takes care of races between teardown of an application (unregister)
and execution of commands which are accessing the app session
concurrently.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Only display agent loglevel if the loglevel type is not ALL

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Initialize default log level of events on load

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Don't assume that Log4j and JUL share the same log level mappings

We explicitly set the log level of Log4j events to
LTTNG_LOGLEVEL_LOG4J_ALL instead of relying on the fact that
LTTNG_LOGLEVEL_LOG4J_ALL and LTTNG_LOGLEVEL_JUL_ALL are mapped to the
same value.

The resulting additional branch does not seem to incur a significant
performance penalty and, as such, is deemed acceptable.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Allow the creation of JUL, Log4j and Python channels

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Save tracker as part of UST and Kernel domains only

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Memory leak of agent

agent_destroy() has a comment which indicates that it does _not_
destroy the pointer passed to it and it seems that agents are
never realeased under any code path whatsoever.

There does not seem to be an instance where an agent is allocated on
the stack.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Memory leak of agent event internals

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Save filter expression as part of agent events and save them

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: UTF-8 characters may be stored on up to 4 bytes

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove unneeded hash table existence check in agent_destroy

This function can never be called if the agent failed to initialize
its hash table. If such a failure occurs, the agent constructor will
return NULL and its caller should handle the error.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove unnecessary RCU read lock

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Use type directly in sizeof instead of a dereferenced pointer

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Prevent the addition of UST events to agent channels

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Don't save log level in session configuration when unneeded

Saving the log level of events in session configurations when "ALL" log
levels are enabled may confuse both users and programs working with
session configurations.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove unneeded RCU lock

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove unneeded RCU lock

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Propagate filter status of kernel events to client

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Save kernel event filter when saving session configuration

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: there is no need to SHOUT in comments

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Mention Python as part of enable-event's usage()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Grammar fix in comment

give -> given

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: typo in error message

writting -> writing

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add agent domains to lttng enable-event usage()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: Add documentation explaining the meaning of "internal" events

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Report memory allocation failure when copying filter bytecode

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: cmd_enable_event must return positive error codes

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Ensure that a filter is always passed with its filter expression

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Save filter expressions as part of agent events

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add agent domains to the enable-event section of LTTNG(1)

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Use lttng_domain_type enumeration instead of bare integers

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Prevent disable event on internal UST events

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove unneeded RCU read lock

lttng_ht_get_count() now takes the RCU read lock automatically.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Skip internal events when saving a session configuration

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: Coding-style conformance adjustments

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: Clarify ominous comment wording

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Hide internal events from session daemon clients

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Prevent the use of reserved UST event names

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tag events created as side-effect of agent events as internal

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove unneeded RCU lock

lttng_ht_get_count() already holds the RCU read lock.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove dead code in lttng-sessiond

event_ust_enable_all_tracepoints and event_ust_disable_all_tracepoints
are both never used by the session daemon.

Ensure event names are NULL terminated during validation

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: assert(0) when listing Python events with MI

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: set GLOBAL buffer type for kernel domain in list

MI is using the list command reponse's buffer type, even when listing
the kernel domain. Not setting .buf_type here results in MI reporting a
wrong buffer type for the kernel domain.

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: take RCU read-side lock within hash table functions

After review, a great deal of caller sites miss the RCU read-side lock
when using the hash table modification functions. This is a case where
having a slight performance degradation might be worthwhile if we can be
a bit more stability. So instead of playing whack-a-mole, add the RCU
read-side lock in the hash table modification functions to ensure
protection from ABA.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Adapt MI test to change in track/untrack behaviour

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: Rename lib_func to cmd_func

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Improve the error reporting of the track/untrack command

This patch adds feedback when a track/untrack command is successful and
specific messages on errors. It also changes the behavior when tracking
an already tracked PID or untracking a PID that is not tracked from an
error to a warning with a successful exit code.

Fixes: #898
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Fix flacky clock-plugin test

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Build: look for python >= 3.0 when building python bindings

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Build: rename use_python to python_binding

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: regression tests

Fix racy session/relayd wait-after-kill scheme.
Fix racy live test where application may not have generated events yet
when we attach to the live trace.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: tests: stderr not correctly redirected

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: TimeoutExpired in Python tests not defined globally

The `TimeoutExpired` exception is used in multiple locations
throughout the Python tests. However, it needs to be used as
`subprocess.TimeoutExpired` given that it is only defined in that
module.

Signed-off-by: Antoine Busque <abusque@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: ust: clock override plugin

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: reuse tracker* element from config

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Test: save/load: pid_tracker basic test

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: Remove statement which has no side-effect

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Save/load: pid_tracker feature.

Xml schema updated

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Test: mi: track/untrack feature

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Util: xml_extract: add node_exist option

The node_exist argument permit a more flexible way to extract informations
within test suites. We can check the presence of a node and not only list
the content of a final node.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Mi: track/untrack: validation

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: Grammar fixes in mi_lttng.xsd

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Ensure a valid command error code is returned by track/untrack

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: Remove java-doc annotations from function header

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Mi: track/untrack/listing

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: intialization of ust_metadata_poll_pipe to garbage value

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix "allocator sizeof operand mismatch" warning

Addresses benign scan-build waring:
Result of 'realloc' is converted to a pointer of type 'char *',
which is incompatible with sizeof operand type 'char **'

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: Remove java-doc style function header from session.h

While we should move to a consistent API documentation style,
this function's documentation is inconsistent with the rest
of the public LTTng API.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: remove extra space in comment

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: test_mi test

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Java agent: Add configure switches to enable tests

This patch adds the switches --enable-test-java-agent-(jul|log4j|all) to
the configure script, the tests now need to be explicitly enabled and
their dependencies are only checked if so.

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: incorrect script name in python logging test

Signed-off-by: Antoine Busque <abusque@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: Document Agent reply codes

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: Remove Java-specific comments from agent.h

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: Grammar fix in agent header

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Return "Unknown" error instead of "Fatal" on unhandled agent replies

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Log agent reply in disable_event()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Log agent reply in enable_event()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Log agent reply in list_events()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add agent reply code logging helpers

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add a LOG() macro which handles dynamic severity levels

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Discard disable event command filter payload

liblttng-ctl sends both the filter expression and filter bytecode
whenever lttng_disable_event_ext() is used _or_ when it is used
implicitly by lttng_disable_event() on an Agent domain (Log4j,
JUL or Python).

As of now, the session daemon ignores this filter payload.
However, on some rare occasions (the frequency of which depends
on the system's configuration and load), the second call to
sendmsg() done by liblttng-ctl could block and return an error
when the session daemon closed the socket (EPIPE).

This fix ensures the payload is received and discarded by the
session daemon, which in turn allows the client to handle the
session daemon's reply to the command.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Use MSG_NOSIGNAL when calling sendmsg()

Applications using the liblttng-ctl library are most probably
not expecting the SIGPIPE signal which can be triggered by
sendmsg() on a closed socket. Use the MSG_NOSIGNAL flag to
handle such cases gracefully.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Send data pending status as part of payload instead of an invalid error

This ensures that the session daemon's logs don't contain false
positives every time a data pending command is replied-to.

The use of invalid error codes 0 and 1 causes the log to contain
misleading entries of the form:

Sending response (size: 16, retcode: Unknown error code (0)) [...]

This commit also proves that it is possible, contrary to what the
previous comment indicated, to send a boolean value over a socket
without using undocumented error codes.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Log error code's value when sessiond replies to a client

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>