Revert "Fix: wrong condition on startup for low-activity streams"

This reverts commit d3aac146d0800fe9820d51e5b9fa52e7543c1237.

Acked-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: missing big endian conversion for one index field

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong condition on startup for low-activity streams

If we only received and sent one index, we should not be in the retry
condition.
The rstream->total_index_received == vstream->last_sent_index is checked
before.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: perror on index directory creation error

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Comments fix: lttngerr.h -> error.h (./Changelog:754)

Signed-off-by: Jonathan Rajotte <jonathan.r.julien@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumerd errors on exit

- The LTTNG_CONSUMER_STOP command is not used by sessiond anymore, so
  deprecate it,
- Ensure that the normal teardown (with signal handler) does not trigger
  a health error in consumer daemon by distinguishing between errors and
  "should exit" with different lttng_consumer_poll_socket() return values.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: scanf unbounded input

Awaiting a proper cleanup (introducing nscanf), do what we can to
validate the scanf input using its utterly broken API.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: miscellaneous memory handling fixes

Issues found with Valgrind:

- Uninitialized memory sent through sendmsg,
- Uninitialized realloc memory,
- Erroneous pointer arithmetic in jul_list_events(),
- Memory leaks in kernel_consumer_add_channel(),
  kernel_consumer_add_metadata(),
- Memory leak (snapshot_destroy missing hash table cleanup),
- Uninitialized poll/epoll memory on realloc.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing VALGRIND ifdef checks and documentation

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: race with index file creation

Only the data thread should create the index file since it is
responsible of filling the FD field of the index struct in memory.
When the control thread is ready to write the index, the FD is already
set.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: deadlock during rotation

The overwrite_lock is nested inside the viewer_stream_rotation_lock.
And the viewer_stream_rotate function is always called with the
viewer_stream_rotation_lock held.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: simplify get next index in live

This fixes some case of unitialized status, use of bad ret value and
help modularize the get next index function.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: steal channel key in the consumer to avoid race

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: change ERR statement to DBG in kernel read subbuffer

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: handle snapshot ENODATA in live timer

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: relayd leak on error in consumer splice()

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: protect close_write_flag with the rotation lock

Acked-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Man: clarify loglevel for JUL domain

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Define __STDC_LIMIT_MACROS to fix C++ builds

Necessary to include the fixed-width type limits on glibc versions
older than 2.18 when building with a C++ compiler.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong data structure used in commit df41f83

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing optional dependency to babeltrace in README

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: cleanup inconsistent use of spaces/tabs in README

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: only set the new_streams flag if a viewer is attached

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: lttng-live documentation

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove dead code in relayd live code

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: use after free error code path

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong sizeof argument in live viewer create session

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: zero out the reply structure in viewer_connect

Fixes #728

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: write index only if fd is valid

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: cleanup relayd on any I/O error in read subbuffer mmap

Any I/O operation that triggers an error now cleans the relayd since
there is no way we can recover from that in any cases and streams
associated to that relayd need to be cleaned up.

This commit also removes the "written" variable that is simply not
needed and was a bit confusing as a returned value.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memory/fd leak when cleaning streams in channel

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: destroy streams in consumer del channel

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing urcu wfqueue headers in relayd

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: in lttng_read/write deny count bigger than the possible returned value

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: fd leak when closing metadata stream

Make sure to close the metadata poll pipe when the endpoint of the
stream dies out (ex: relayd stops unexpectedly). That was causing a fd
leak when we were destroying a metadata stream without using the close
metadata code path.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: read subbuffer mmap/splice signedness issue

Signed and unsigned values were compared thus making the code path where
ret = -1 being interpreted as ret > len == true thus not cleaning up the
relayd.

This patch simplifies the read subbuffer mmap operation since
lttng_write() now provides a guarantee that the return data is either
equal to the count passed or less which the later means the endpoint has
stop working.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Doc: live protocol clarifications

Updates about the get_new_stream, the attach procedure, the create
viewer_session and the multiple attach.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: remove unused create_viewer_session option

Since it is unused for now, don't bloat the ABI with that.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: don't sleep(1) on the consumer ready flag

This is way too long on especially when the first command that spawn the
consumer as to wait a full second on powerful system.

Bring this down to 0.1 sec sleep by using usleep().

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: free viewer session in connection_free()

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing ctf trace delete before destroy

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't delete ctf trace while in snapshot mode

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add flag to create session command and fix tests

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: cleanup indef guards following the rename

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: merge issue with thread quit pipe

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: use uint32_t for metadata_flag in viewer's ABI

This struct is meant to be sent over the network so members should be
of exact-width.

Signed-off-by: Marc-Andre Laperle <marc-andre.laperle@ericsson.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: check for new streams in all attached sessions

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: Move static functions up in the code

When we detect that the viewer is trying to get new streams for a
session closed and for which it already got all the streams, we can
delete and destroy the session, we know it won't be useful anymore.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: allow attach command to multiple sessions

The attach session command can now attach to multiple session using an
ID list.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: handle session hang up in get_new_streams

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: force the client to create a viewer session before attaching

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: Namespace lttng-viewer-abi

This header is copied to all the viewers that implement the lttng-live
protocol, we need to make sure it is properly namespaced.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: relayd connection object refactor

Mostly rename and move the connection data structure to its own C
file/header along with functions handling the object.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: big relayd cleanup and refactor

Due to a number of race conditions between the live feature and the data
threads, we had to refactor the relayd which mostly splits the different
objects in their own files creating APIs for each of them.

That done, we are able to remove duplicate code, centralize code path
to help with cleanup and having a flow that makes more sense when
handling multiple objects.

This commits adds a lot of fixes with the live feature and cleanup code
path of a session since some objects are shared between threads like
ctf-trace and stream.

So yeah, this is quite a BIG commit and unfortunately this work was
essential in order to fix a lof of issues and have a way more
maintainable code base for the relayd.

Signed-off-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: code refactoring of viewer streams in relayd

This also renames the lttng-viewer.h to lttng-viewer-abi.h which
represents the live reading ABI.

Acked-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: handle new streams in live mode in relayd

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: notify the viewer if new streams got added

As soon as new streams are available, the viewer must start reading
them, otherwise we risk to ignore complete streams.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: send the streams sent message after metadata

We now make sure that we only sent the streams_sent message to the relay
when all the streams (including the metadata) are sent.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add extern C to the health-check header

This makes it possible to include health.h in a C++ program.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memory leak in unit test

Fixes coverity issue #1128896

Signed-off-by: David Goulet <dgoulet@efficios.com>

Man: add JUL DOMAIN section to lttng.1

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: bad indentation of lttng list in man page

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: handle invalid URL passed to lttng_create_session_live

uri_parse_str_urls() returns 0 if the URL passed is NULL thus using
lttng_create_session_live() without an URL is invalid.

Reported-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add --jul-tcp-port to sessiond man page

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: measure UST clock offset with best sample (v2)

Fixes #729

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove free in unit test not needed anymore

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: relay create session for version before 2.4

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memory leak when UST events are enabled with exclusions

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

health check tests: test relayd and consumerd

- Cover relayd and consumerd,
- Add a test_thread_ok test (no issue found by test) to fast_regression,
- Merge duplicated code into test_health.sh.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

tests: Add stop_lttng_relayd_nocheck

Used in cases where the relay daemon might not be running.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: add missing JUL loglevel handling

JUL loglevels are directly mapped to the Level class from the JUL
interface. A complete listing has been added to the enable-event help
command and to the lttng.h ABI as lttng_loglevel_jul.

Signed-off-by: David Goulet <dgoulet@efficios.com>

relayd: add testpoints

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

relayd: use same pipe for live and main

Don't use a duplicate of file descriptors. Ownership is easier to track
without a copy.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Cleanup relayd live comment

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: relayd: add LPOLLERR to events

Same as session daemon.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: relayd: notify parent of readiness when all threads ready

- relayd start using daemonize common lib,
- wait for health check thread, listener and live listener threads to be
  ready before letting the parent know it is ready (in daemon and
  background modes).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: tests: start relayd in background mode (-b)

Ensure that relayd health check is ready to receive queries by starting
relayd in background mode with '-b' rather than putting it in background
by the shell (&).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

lttng-relayd: implement background cmd line option

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

sessiond: add missing testpoints

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

tests: use --background for session daemon

Will now show errors when they happen.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

sessiond: add --background argument

Allow starting sessiond like --daemonize, but keeps console open.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Use lib common daemonize

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: sessiond: wait for health check readiness

Wait for health check readiness before notifying the parent.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: relayd: initialize lttcomm inet

Not doing so does not take into account env. var. timeouts.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Consumer: add testpoints

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: consumerd: HT init/teardown with program

Hash tables shared between threads should not be initialized by a
specific thread, because the other threads could start using it before
it is initialized.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Cleanup: lttng-ctl-health comment

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add daemonize() to libcommon

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: tests: wait for consumerd to complete

Wait for consumerd to complete when stopping sessiond.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: consumerd: use DBG rather than DBG2

DBG2 is never visible.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: consumerd: only return readiness when health is ready

Wait for health check to be ready before returning readiness to session
daemon.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: consumerd should initialize lttcomm

Missing initialization makes the consumer daemon not care about the
env. var. specifying the timeouts.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix health check: signal parent before exit testpoint

We need to signal parent for readiness before hitting the thread exit
testpoint, otherwise we hang the test.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Test health: add test_thread_ok

Tests sessiond, consumerd (UST+kernel) and relayd health "ok" case in
simple scenarios.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

health check: change --relayd-path arg to --relayd-path=arg

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

relayd: add LTTNG_RELAYD_HEALTH env var

Allow override of path leading to health check named pipe.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add sessiond/SESSIOND_ prefix to sessiond testpoints

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: zero out data structure before using it

Fixes #716

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: delete metadata stream before destroying it

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: report to client when snapshot will be empty

This adds a new lttng error code being the "snapshot nodata".

Fixes #662

Signed-off-by: David Goulet <dgoulet@efficios.com>