Propagate whether a connection was closed cleanly or after an error

This allows a follow-up fix that requires this distinction to
decide whether a session must be closed or aborted.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: relayd protocol field present from minor 8 is not checked

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add DBG statement for TCP keep-alive options

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: relay_recv_metadata does not check for partial write

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Use non-blocking recvmsg() for data/ctrl connections of lttng-relayd

The relay daemon's use of blocking network I/O can cause severe
performance degradation when interacting with unresponsive peers.

This patch changes the recvmsg() calls to use the MSG_DONTWAIT flag
which makes the call non-blocking. The connection classes are modified
to handle the partial reception of buffers.

The sendmsg() calls are still blocking, but this is assumed to
represent a fairly minimal risk of actually blocking given that
the control protocol's replies consist of 4-byte status codes.

A similar approach could be used to make the live connections
non-blocking as that side may also suffer from the same resiliancy
problems. So far, no users have reported this problem so it is
not prioritised.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: unprivilieged sessiond agent port clashes with root sessiond

This fix addresses the same problem as reported in f28f9e44.

The session daemon now tries to bind the agent TCP socket to a
port within a range (10 ports by default). The session daemon
will use the first available TCP port within that range when
binding to "localhost". It is still possible to restrict the
session daemon to the broken behaviour by specifying an agent
port using the --agent-tcp-port PORT. If that option is used,
the session daemon will attempt to bind to that part. If it
fails, agent tracing will be marked as disabled.

This fix is backported since the current logic of binding to a
set port means that the default configuration on Ubuntu, Debian,
and other distributions that launch an lttng-sessiond on boot does
not allow the tracing of agent domains (Java Util Logging, log4j,
and Python logging back-ends).

By default, users are not part of the tracing group and it is
not reasonable to expect users to be part of that group for
userspace tracing.

The behaviour of the "system" lttng-sessiond does not change
as it will bind on the first available port within the range.
The non-privilieged session daemons that will be launched after
will be able to bind on other ports available within the range.

Reported-by: Deborah Barnard <starfallprojects@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: erroneous use of extern keyword

The extern keyword is errneously (or at least, uselessly) used
for an internal API where LTTNG_HIDDEN is meant to be used.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: failure to launch agent thread is not reported

A session daemon may fail to launch its agent thread. In such
a case, the tracing of agent domains fails silently as events
never get enabled through the agent.

The problem that was reported was caused by a second session
daemon being already bound on the agent TCP socket port, which
prevented the launch of the agent thread.

While in this situation tracing is still not possible, the user
will at least get an error indicating as such when enabling
an event in those domains.

Reported-by: Deborah Barnard <starfallprojects@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: agent may not be ready on launch

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: misleading variable name

Using "running" implies that the thread is guaranteed to be
functional/ready. The intention of those "running" flags is only
to indicate that the underlying pthread was created. The thread
may not be running anymore and these flags should not be used
to check if the thread is "ready" to process anything.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: checking for existing session daemon is done after daemonizing

The session daemon checks that no other session daemons are
running only after daemonizing. This means that launching the
deamon in background or daemon modes will appear to succeed even
if the launch failed due to an already present daemon.

The check is performed using both the client socket and the lock
file. This fix also addresses another problem that would cause
the pid file to be overwritten and deleted even if the session daemon
failed to launch.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: null pointer dereference in lttng_rotation_handle_destroy

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

sessiond: rename syscall.h so it does not conflict with system

Signed-off-by: Geneviève Bastien <gbastien+lttng@versatic.net>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Handle rotations happening on two separate days during testing

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Clean trace_path after each subtest

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Use for loop for identical validation

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Count number of chunk using ls

Instead on removing validated chunk and validate that the directory is
empty, count the number of chunk present at the beginning and validate
that the count is equal to three.

Let the caller take care of cleaning up the generated files.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: quiet option is not set in sessiond-config

The quiet option is currently set directly while parsing the
command line options of the lttng-sessiond. Since it is not
set in the sessiond configuration object, its default value
(false) overwrites the lttng_opt_quiet option when the
configuration is applied.

Reported-by: Stanislav Vovk <stanislav.vovk@windriver.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: hold consumer socket lock for consumer_send_msg

The lock is held and released during the recv() section, but not
during the send section for a failure to lookup the PID registry.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: use signed member to transport enum value

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: use off_t type for lseek function return value to avoid overflow

Context: LTTng is configured in live mode with only one channel, getting
traces for a long-running application (days of uptime)

The trace file gets bigger (many GBs), so the offset (bigger than
int.MaxValue). When getting a packet for such offset, the lseek returns
bigger than int.MaxValue. This value is stored in a variable "ret" of
type int. We have an overflow which leads to sending an error to the
viewer (babeltrace), which stops.
[error] get_data_packet: error.
[error] get_data_packet failed
[error] Unknown return code 0

Signed-off-by: Gregory LEOCADIE <g.leocadie@criteo.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Extend the rotation API to provide network trace archive locations

The current lttng-ctl rotation API does not allow a user to
differentiate between a network or local trace archive location.

The API currently only provides a "path" which is absolute when
a local rotation is completed, and relative (to an unknown location)
when the trace is streamed to a relay daemon.

This change introduces the lttng_trace_archive_location interface
to express these locations unambiguously. It is currently only
used by the rotation control API, but the intention is to also use
it for future interfaces which need to express a location description.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Increase LTTNG_HOST_NAME_MAX from 64 to 255

POSIX guarantees that a host name will not exceed 255 characters.
Moreover, RFC 1035 limits the length of a fully qualified domain name (FQDN)
to 255 characters.

This limit will be used as part of the lttngctl communication
protocol.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add lttng_trace_archive_location lttng-ctl API

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clarify notification channel info ht destruction error log

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: goto end after end label

This check was most probably for the previous call and was but after the
end label by mistake. The check is not needed since the end label is
following the call.

CID 1388094 (#1 of 1): Double free (USE_AFTER_FREE)

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Check return value of cds_lfht_destroy

Bubbling up the error is not an option here. Print and error an move on.

CID 1388096:  Error handling issues  (CHECKED_RETURN)

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: destroy schedule attr

CID 1388095 (#9-14 of 14): Resource leak (RESOURCE_LEAK)

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Tests: fix oot and dist for rotation tests

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: add rotation tests scripts to noinst_SCRIPTS and EXTRA_DIST

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: SESSION_NAME defined on each iteration of kernel rotation test

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Reduce scope of TRACE_PATH to a function

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: PID_RELAYD is never used

Irrelevant since before 1c362dc78cf2e28c8935efcb5d4a85ef5d5967ba

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: use functions from utils.sh in rotation tests

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: consolidate session creation with a uri parameter in utils.sh

Introduce a new create_lttng_session_uri test helper.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: use modprobe to test for the presence of lttng-modules

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: missing license header in rotation utils

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: missing parenthesis in userspace rotation test

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: use enable_ust_lttng_channel_ok instead of a custom lttng invocation

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: remove TRACE_PATH at the end of the rotation test only

Clean the inside of TRACE_PATH directory between each test but do not
delete the actual directory.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: exit $out gets overridden by EXIT trap from tap/tap.sh

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Use SIGTERM instead of SIGKILL

The use of SIGKILL does not guarantee the immediate termination of sub
background task. Using SIGTERM allows the generator to finish cleanly.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add --post-script to tap-driver.sh

Allow warn_process.sh to be run between each test to validate that a
test does not leave ghost processes.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: add rotation tests to the "check" target

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: fail on truncation of kernel channel path

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: fail on truncation of snapshot path

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Dedicated error message when relay does not support rotations

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: add missing includes for embedded help

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Document tracing session rotation features

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Check for pending notification on notification channel activity

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clarify error logging statement of rotation thread

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: rotation state marked as completed before relayd has completed

The session rotation state is updated to COMPLETED before the
relay daemon has signaled that its rotation has been completed.
This causes users using the "rotation get_info" API to receive
this status before the session archive is readable on the
relay daemon's end.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: cmd_rotate_set_schedule returns positive error codes

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: unchecked return value of domain_mkdir()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add initial "no rotation" state to session rotation states

ltt_session structures are initialized in the
LTTNG_ROTATION_sTATE_COMPLETED state which is unexpected for
users of the get_info API.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: erroneous use of kernel consumer error codes

Errors related to the kernel consumer are returned in a code path
that is only used by the userspace tracer, probably as a result
of copy-pasting code.

This patch changes the codes to the corresponding CONSUMER32/64
ones and makes them negative to honor the convention indicated
in the function's header.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: unhandled prev_seq initial value

The previous sequence number of a stream is initialized to -1ULL
and comparing the current sequence number against it to perform
a rotation will yield unexepected results.

The assumption that the previous sequence number is less than
the current one is assert()'ed on elsewhere.

This case triggers whenever a rotation is performed before the
relay daemon has received a packet for a given stream.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Size-based rotation

The user can now configure the desired size of each chunk, every time a
chunk is bigger than the specified size, a rotation is automatically
started. The size of a chunk is measured by polling from the monitoring
thread, so the accuracy depends on the monitoring sampling rate.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add lttng_notification_channel_has_pending_notification()

This new API allows notification channel users to check for
pending notifications without necessarily blocking until
a new notification is ready. Moreoever, the pending notification
is not consumed by this new API.

lttng_notification_channel_get_next_notification() must still
be called to consume the new notification.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: channel lock must be taken to check for pending notifications

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: typo in notification channel header

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: circular inclusion of lttng.h results in warning

The circular inclusion of lttng.h, which includes all
public headers, from condition.h results in the following
warning for users of the API:

warning: ‘struct lttng_evaluation’ declared inside
parameter list will not be visible outside of this definition
or declaration

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove unneeded domain.h include

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: wrong enum value used in evaluation API description

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove unneeded forward declaration in condition headers

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add the GMT offset in the rotated chunk path

The path of a rotated chunk is composed of the start and end timestamp
of the trace inside that chunk. In order to support distributed
environments, we now specify the GMT offset in this path as well. The
date is now formatted in ISO 8601. Here is an example:
~/lttng-traces/<session-name>/20180118T144610-0500-20180118T144611-0500-1

Chunk start: 2018-01-18 14:46:10
Chunk end: 2018-01-18 14:46:11
GMT offset: GMT-5 on both timestamps
Chunk ID: 1 (number of rotations that occured in this session so far)

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests for the session rotation feature

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix validate_trace_empty test check

Since the output of babeltrace was directly piped into wc, the return
code was never an error even if the trace was invalid. We now split the
commands in two parts: process the trace with babeltrace and check the
error code, and then count the number of lines.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Example client to use the session rotation API

This client creates a session with all system calls enabled, offers
the option to rotate periodically the session (unlimited or only a
number of times), and call a script on each rotated chunk. The script
provided compresses the chunk and deletes the original.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Save, restore and list the rotation parameters

Add the support to save, restore and list the automatic rotation
parameters.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Session consumed size notification

Add the support for notifications about the total amount of trace data
consumed for a session. The user can register itself to be notified when
a session has consumed more than a threshold. This sums the data for all
channels in a session.

For the review: part of this code was written by Jérémie, but it was on
top of my development branch with major updates on my early work with
notifications, so I had to squash it because it made no sense to keep
Jérémie's code separate.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: previous channel total is not updated

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add likely/unlikely annotations on channel sample handling path

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Separate session info from channel info in notification thread

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Rotate timer

Allow the user to configure a timer to rotate a session periodically.
The user can configure this setting with the API or the new
enable-rotation/disable-rotation commands:
lttng enable-rotation --timer 10s
lttng disable-rotation --timer

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Simplify lock handling in enqueue_timer_rotate_job()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Use utils_parse_time_suffix in create and enable-channel command

Signed-off-by: Simon Marchi <simon.marchi@polymtl.ca>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Introduce utils_parse_time_suffix

This function is based on utils_parse_size_suffix, but is to parse
(relatively short) time suffixes. It returns the time in microseconds.
So far, it supports:

 - u/us: microseconds, x1, same as no suffix
 - m/ms: milliseconds, x1 000
 - s: seconds, x1 000 000

 For example:

 - 32u becomes 32
 - 32us becomes 32
 - 32m becomes 32 000
 - 32ms becomes 32 000
 - 32s becomes 32 000 000

Signed-off-by: Simon Marchi <simon.marchi@polymtl.ca>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: use metadata key instead of fd for consumer rotation command

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: double similar condition

Based on the pattern of the function, threshold_bytes should be used
inside the "else if" condition.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: missing type definitions in mi-lttng-3.0.xsd

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: out of tree build fails on missing header

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng rotate command

The command line and API interface to the lttng rotate command.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Relay rotate pending command

When a session rotation completes and the session is configured to send
its traces to a relay, we have to poll the relay to know when all the
chunk's data are written on its disk. To do that, we define a timer in
the sessiond and arm it when the rotation is complete. When the rotation
is complete on the relay, we clear the "rotate_pending" flag in the
session and the client can access the chunk safely.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Rotate command

This is the core of the session rotation command in the session daemon,
no client interface for now. For each channel in the session, we send a
request to the related consumer to rotate the channel and add that
channel key and domain in the channel_pending_rotate_ht HT. When the
consumer has finished the rotation of all the streams in the channel, it
sends back a notification. The rotation thread in the session daemon
looks up the channel information in the HT and finds the corresponding
session. When all channels of a session have finished, the rotation
thread asks the consumer to rename the chunk folder to append the
timestamp of the end of the rotation.

On the first rotation, we have an extra step to change the session
directory layout from "<session-name>/<domain>" to
"<session-name>/<session-start-time>-<rotate-end-time>-1/<domain>".

When the rotation starts, the new chunk folder is created immediately
in: "<session-name>/<previous-rotate-start-time>-2/<domain>" so we won't
have to move the domain folder(s) after the next rotate has finished,
just rename the chunk folder.

The "mkdir" and "rename" commands are all propagated to the relay if
needed, only the rotate_pending check on the relay is not part of this
patch.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Sessiond timer thread

This new thread allows to handle timers in the session daemon. The
structure is the same as the consumer-timer thread. For now it does not
perform any action, but it will be used by the session rotation feature.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: ret is uninitialized on standard path

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Sessiond rotation thread

This thread is responsible to receive the notifications from the
consumers that a channel has finished its rotation and perform the
rename of the chunk ready to be processed by the client when all the
channels of a session have completed their rotation.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Consumer rotate a channel

This command is sent from the session daemon for each channel in a
session. When the consumer receives the command, it stores the position
at which we need to rotate the stream. If a stream is ready to be
rotated, we perform the rotation immediately.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Consumer perform the rotation when extracting a packet

When the consumer reads a subbuffer, it checks if the stream needs to be
rotated before or after writing the data. The post-rotation action must
take place after we have released the stream lock, so we need to add a
flag to the read_subbuffer functions to know if a rotation occurred
while the stream lock was held.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Consumer rotate stream

Perform the action of rotating a stream locally or send the command to
do it on the relayd. Rotating a stream file consists of:
 - closing the current tracefile and index,
 - opening a new tracefile and index in the new chunk folder,
 - resetting the stream rotation flags,
 - updating the counter of streams waiting for a rotation in a channel,

If the stream is a metadata stream, we also need to trigger the action
to re-dump the content of the metadata cache after the rotation has been
performed.

The caller of lttng_consumer_rotate_stream() always calls
consumer_post_rotation() after having released the stream lock to update
the counter of streams waiting for a rotation in a channel and notifying
the session daemon if this counter reaches 0.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Implement the RELAYD_ROTATE_PENDING relay daemon command

This command allows the sessiond to check if a rotation is complete
from the relayd point of view. There can be a significant delay
between the time the consumer has finished extracting the data from
the buffers and the time the relay has finished writing them on disk,
and we can only inform the user that the rotation is complete when all
the data is on disk. So the RELAYD_ROTATE_PENDING command is used to
poll the relayd after the consumer has finished extracting the data
until everything is on the relayd disk.

This command also takes care of streams that did not exist on the
consumer when the rotation started, or streams that appeared after the
last rotation started. The chunk_id field is used to distinguish those
cases.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Implement the RELAYD_ROTATE_STREAM relay daemon command

Support for the RELAYD_ROTATE_STREAM command on the relay. This
command informs the relay that the current stream must rotate after it
has written the data and index for the net_seq_num passed. After each
data and index written on disk we check if it is time to rotate (in
case it was in flight when the rotate command was received). On the
other hand, if too much data has been written when we receive the
rotate command, we move the excess data to a new tracefile and
truncate the current one.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Channel rotate pipe between sessiond and the consumers

This new pipe is used by the consumers to inform the session daemon (in
the rotation_thread) that it has finished the rotation of a channel. In
this patch, we only setup the pipe between the daemons, it is not yet in
use.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Support to dump the kernel metadata cache from the beginning

On demand, the consumer can ask for the kernel tracer to dump the
content of the metadata cache (depends on lttng-modules 2.11). This
allows to extract the exact same metadata (compared to regenerating it
which could change the epoch offset).

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add ustctl_flush_buffer to the consumer API

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Common consumer functions to read current positions

Introduce lttng_consumer_sample_snapshot_positions and
lttng_consumer_get_consumed_snapshotconsumer_flush_buffer to take a
snapshot of the positions and read the consumed position.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Dedicated function to wakeup the consumer metadata pipe

Extract the logic to wakeup the consumer metadata pipe to a dedicated
function, it will be used after a rotation in UST.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Keep read-only copies of fields from the channel to the stream

In the consumer, we sometimes need to read the channel pathname or
tracefile_size from a stream, but we cannot always access those values
safely. So we now keep a copy of those values when we add or allocate
streams.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: keep the number of pipes used by poll in a variable

The "2" hardcoded at multiple places in the consumer is prone to error
when adding new FDs. Keep it all in one place to make it easier next
time we modify it.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>