Fix: improve lttng with live by spawning relayd

The create --live, will try to spawn a default relayd if no URL is
given.

The lttng view now supports the live tracing mode thus lttng view is
usable with a live session.

Fixes #738

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: relayd should listen for viewers on localhost only by default

Having relayd listening by default on 0.0.0.0 (all interfaces) with a
protocol without authentication is an information leak waiting to
happen.

Users should explicitely specify if they want to listen on all
interfaces, using e.g. -L tcp://0.0.0.0:5344 (see lttng-relayd(8)
manpage for details). They should only do so if they use a firewall, or
are within a secured network.

Fixes #746

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: handle loglevel range ALL in list command

Print the ":" if we get the ALL range and not TYPE UNKNOWN.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: add JUL test for multiple loglevel

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: index JUL event by name *and* loglevel

This is to support multiple loglevels for a JUL event.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: JUL to enable user and root tracepoints

This is needed to support the LTTng JUL agent to connect to both user
and root session daemon, we have to enable different tracepoint for the
two cases in order to avoid duplicating the trace payload in both the
user and root trace output.

Signed-off-by: David Goulet <dgoulet@efficios.com>
Conflicts:
src/bin/lttng-sessiond/lttng-sessiond.h
src/bin/lttng-sessiond/main.c

Fix: handle the registration done command for JUL

Lockstep with lttng-ust.

Part of the fix for issue #692

Signed-off-by: David Goulet <dgoulet@efficios.com>

Test fix: use temp file sync. of test app

Fixes #736

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: keep metadata channel attr in UST session

This is so that if we have NO application we can use the metadata
channel attributes once one appears.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests fix: Missing waitpid in fork test

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add loglevel type to lttng list <name>

For range loglevel, the <= is used and for single ==. For instance:

ev_log_range (loglevel <= TRACE_WARNING (4)) (type: tracepoint)
ev_log_single (loglevel == TRACE_NOTICE (5)) (type: tracepoint)

Fixes #628

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: minor rephrasing of the lttng.1 man page

Fixes #730

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Warn user if JUL port is already being used

Fixes #740

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add some sane default values to --live opt

The lttng create --live now takes optional arguments meaning if no USEC
or/and -U are found, some defaults value are used.

Fixes #738

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: possible NULL deref. in sessiond error path

Fxies #735

Signed-off-by: Stefan Seefeld <stefan@codesourcery.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: flag that kernel streams FDs has been sent

Flag the session *after* every stream was successfully sent.

Fixes #731

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: forbid session name creation if contains /

This adds a validation function for session name which for now denies
any session name containing '/'.

This is in response of bug #721 that actually uses a path as a session
name such as "test/../session1" which would then be concatenated to the
session path adding a relative path to it making this a serious security
issue.

Because of this issue, this is backported from master up to stable-2.3.

Fixes #721

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't start session if no channel

This adds a new error code that indicates that the session contains NO
channel.

Fixes #715

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing relayd option to man page

Fixes #706

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: report error if consumer can't be spawned

On error of the UST consumer execl(), we now exit the forked process
like the kernel does.

Furthermore, fix an error handling value when timing out when waiting
for the consumer to bootstrap thus returning an error to the client and
not continuing with the command thinking that the consumer was actually
spawned.

So, the expected behavior is to wait for the pthread condition and if a
timeout is seen, the client is informed thus making the client command
hang for the default timeout value of 30 seconds.

Fixes #702

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: lttng list -u <name> should only list UST

Fixes #654

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: kernel channel destroy on consumer if sent

An enable-channel immediately followed by a destroy session triggered an
assert on the consumer followed by the shutdown of the consumer thread
for the kernel.

This fix make sure we don't ask the consumer to destroy a channel if not
previously sent to it and handle not found channel on destroy.

Fixes #643

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: only create UST metadata on start trace

Fixes #739

Acked-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Revert "Fix: wrong condition on startup for low-activity streams"

This reverts commit d3aac146d0800fe9820d51e5b9fa52e7543c1237.

Acked-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: missing big endian conversion for one index field

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong condition on startup for low-activity streams

If we only received and sent one index, we should not be in the retry
condition.
The rstream->total_index_received == vstream->last_sent_index is checked
before.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: perror on index directory creation error

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Comments fix: lttngerr.h -> error.h (./Changelog:754)

Signed-off-by: Jonathan Rajotte <jonathan.r.julien@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumerd errors on exit

- The LTTNG_CONSUMER_STOP command is not used by sessiond anymore, so
  deprecate it,
- Ensure that the normal teardown (with signal handler) does not trigger
  a health error in consumer daemon by distinguishing between errors and
  "should exit" with different lttng_consumer_poll_socket() return values.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: scanf unbounded input

Awaiting a proper cleanup (introducing nscanf), do what we can to
validate the scanf input using its utterly broken API.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: miscellaneous memory handling fixes

Issues found with Valgrind:

- Uninitialized memory sent through sendmsg,
- Uninitialized realloc memory,
- Erroneous pointer arithmetic in jul_list_events(),
- Memory leaks in kernel_consumer_add_channel(),
  kernel_consumer_add_metadata(),
- Memory leak (snapshot_destroy missing hash table cleanup),
- Uninitialized poll/epoll memory on realloc.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing VALGRIND ifdef checks and documentation

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to v2.4.0-rc5

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: race with index file creation

Only the data thread should create the index file since it is
responsible of filling the FD field of the index struct in memory.
When the control thread is ready to write the index, the FD is already
set.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: deadlock during rotation

The overwrite_lock is nested inside the viewer_stream_rotation_lock.
And the viewer_stream_rotate function is always called with the
viewer_stream_rotation_lock held.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: simplify get next index in live

This fixes some case of unitialized status, use of bad ret value and
help modularize the get next index function.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: steal channel key in the consumer to avoid race

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: change ERR statement to DBG in kernel read subbuffer

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: handle snapshot ENODATA in live timer

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: relayd leak on error in consumer splice()

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: protect close_write_flag with the rotation lock

Acked-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Man: clarify loglevel for JUL domain

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Define __STDC_LIMIT_MACROS to fix C++ builds

Necessary to include the fixed-width type limits on glibc versions
older than 2.18 when building with a C++ compiler.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: bad indentation of lttng list in man page

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong data structure used in commit df41f83

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing optional dependency to babeltrace in README

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: cleanup inconsistent use of spaces/tabs in README

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: only set the new_streams flag if a viewer is attached

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: lttng-live documentation

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove dead code in relayd live code

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: use after free error code path

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong sizeof argument in live viewer create session

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: zero out the reply structure in viewer_connect

Fixes #728

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: write index only if fd is valid

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: cleanup relayd on any I/O error in read subbuffer mmap

Any I/O operation that triggers an error now cleans the relayd since
there is no way we can recover from that in any cases and streams
associated to that relayd need to be cleaned up.

This commit also removes the "written" variable that is simply not
needed and was a bit confusing as a returned value.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memory/fd leak when cleaning streams in channel

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: destroy streams in consumer del channel

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing urcu wfqueue headers in relayd

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: in lttng_read/write deny count bigger than the possible returned value

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: fd leak when closing metadata stream

Make sure to close the metadata poll pipe when the endpoint of the
stream dies out (ex: relayd stops unexpectedly). That was causing a fd
leak when we were destroying a metadata stream without using the close
metadata code path.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: read subbuffer mmap/splice signedness issue

Signed and unsigned values were compared thus making the code path where
ret = -1 being interpreted as ret > len == true thus not cleaning up the
relayd.

This patch simplifies the read subbuffer mmap operation since
lttng_write() now provides a guarantee that the return data is either
equal to the count passed or less which the later means the endpoint has
stop working.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Doc: live protocol clarifications

Updates about the get_new_stream, the attach procedure, the create
viewer_session and the multiple attach.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: remove unused create_viewer_session option

Since it is unused for now, don't bloat the ABI with that.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: don't sleep(1) on the consumer ready flag

This is way too long on especially when the first command that spawn the
consumer as to wait a full second on powerful system.

Bring this down to 0.1 sec sleep by using usleep().

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: free viewer session in connection_free()

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing ctf trace delete before destroy

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't delete ctf trace while in snapshot mode

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add flag to create session command and fix tests

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: cleanup indef guards following the rename

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: merge issue with thread quit pipe

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: use uint32_t for metadata_flag in viewer's ABI

This struct is meant to be sent over the network so members should be
of exact-width.

Signed-off-by: Marc-Andre Laperle <marc-andre.laperle@ericsson.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: check for new streams in all attached sessions

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: Move static functions up in the code

When we detect that the viewer is trying to get new streams for a
session closed and for which it already got all the streams, we can
delete and destroy the session, we know it won't be useful anymore.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: allow attach command to multiple sessions

The attach session command can now attach to multiple session using an
ID list.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: handle session hang up in get_new_streams

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: force the client to create a viewer session before attaching

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: Namespace lttng-viewer-abi

This header is copied to all the viewers that implement the lttng-live
protocol, we need to make sure it is properly namespaced.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: relayd connection object refactor

Mostly rename and move the connection data structure to its own C
file/header along with functions handling the object.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: big relayd cleanup and refactor

Due to a number of race conditions between the live feature and the data
threads, we had to refactor the relayd which mostly splits the different
objects in their own files creating APIs for each of them.

That done, we are able to remove duplicate code, centralize code path
to help with cleanup and having a flow that makes more sense when
handling multiple objects.

This commits adds a lot of fixes with the live feature and cleanup code
path of a session since some objects are shared between threads like
ctf-trace and stream.

So yeah, this is quite a BIG commit and unfortunately this work was
essential in order to fix a lof of issues and have a way more
maintainable code base for the relayd.

Signed-off-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>
Conflicts:
src/bin/lttng-relayd/lttng-relayd.h

Fix: code refactoring of viewer streams in relayd

This also renames the lttng-viewer.h to lttng-viewer-abi.h which
represents the live reading ABI.

Acked-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: handle new streams in live mode in relayd

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: notify the viewer if new streams got added

As soon as new streams are available, the viewer must start reading
them, otherwise we risk to ignore complete streams.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: send the streams sent message after metadata

We now make sure that we only sent the streams_sent message to the relay
when all the streams (including the metadata) are sent.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add extern C to the health-check header

This makes it possible to include health.h in a C++ program.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memory leak in unit test

Fixes coverity issue #1128896

Signed-off-by: David Goulet <dgoulet@efficios.com>

Man: add JUL DOMAIN section to lttng.1

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: handle invalid URL passed to lttng_create_session_live

uri_parse_str_urls() returns 0 if the URL passed is NULL thus using
lttng_create_session_live() without an URL is invalid.

Reported-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add --jul-tcp-port to sessiond man page

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: measure UST clock offset with best sample (v2)

Fixes #729

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove free in unit test not needed anymore

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: relay create session for version before 2.4

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memory leak when UST events are enabled with exclusions

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Update version to v2.4.0-rc4

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add -b, --background option

This was removed during a merge from master by mistake.

Signed-off-by: David Goulet <dgoulet@efficios.com>

health check tests: test relayd and consumerd

- Cover relayd and consumerd,
- Add a test_thread_ok test (no issue found by test) to fast_regression,
- Merge duplicated code into test_health.sh.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

tests: Add stop_lttng_relayd_nocheck

Used in cases where the relay daemon might not be running.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: add missing JUL loglevel handling

JUL loglevels are directly mapped to the Level class from the JUL
interface. A complete listing has been added to the enable-event help
command and to the lttng.h ABI as lttng_loglevel_jul.

Signed-off-by: David Goulet <dgoulet@efficios.com>

relayd: add testpoints

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Conflicts:
src/bin/lttng-relayd/Makefile.am

relayd: use same pipe for live and main

Don't use a duplicate of file descriptors. Ownership is easier to track
without a copy.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Conflicts:
src/bin/lttng-relayd/lttng-relayd.h

Cleanup relayd live comment

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>