Tests: Don't rely on implicit scalar expression dereference

This silences an "experimental feature" warning when using Perl 5.20.2.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

man pages: use standard NAME format

As per man(7):

    The only mandatory heading is NAME, which should
    be the first section and be followed on the next
    line by a one-line description of the program:

        .SH NAME
        item \- description

    It is extremely important that this format is followed,
    and that there is a backslash before the single dash
    which follows the item name. This syntax is used by the
    mandb(8) program to create a database of short
    descriptions for the whatis(1) and apropos(1) commands.

Furthermore (lexgrog(1)):

    When using the traditional man macro set, a correct NAME
    section looks something like this:

        .SH NAME
        foo \- program to do something

    Some manual pagers require the ‘\-’ to be exactly as shown;
    mandb is more tolerant, but for compatibility with other
    systems it is nevertheless a good idea to retain the
    backslash.

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix python bindings' Makefile for out-of-tree builds

The references to the built archives should use top_builddir and not
top_srcdir, because that's where they are.

And new in V2, I got a new error:

  lttng_wrap.c:2970:25: fatal error: lttng/lttng.h: No such file or directory
   #include <lttng/lttng.h>

I think we are missing the -I$(top_srcdir)/include. I had not noticed this
previously, probably because I had an lttng/lttng.h in
/usr/local/include or /usr/include. Also, the other includes seem
unnecessary. The This is not really related to out-of-tree builds though.

Signed-off-by: Simon Marchi <simon.marchi@polymtl.ca>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: use LIBS instead of AM_LDFLAGS for dl and c linking

The change to --as-needed on linking of the tool chain on Debian based dist
break the build. This fix aim to generalize the linking and be
independent of the distribution choice of base parameter for the linking
process.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Add missing -ldl when checking for lttng-ust

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

clock plugin: increase offset measurement accuracy

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Implement UST clock override plugin support

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: ownership of filter and filter_expression

Applies to the kernel wildcard feature.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: zero memory passed to create channel kernel ioctl

Valgrind complains about uninitialized memory passed to ioctl.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Check that lttng create --live's time is not zero

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Validate lttng_create_session_live's timer is > 0

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

UI: Only show live timer when the session is in live mode

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

UI: Only show tracker PID state when enabled

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Implement kernel filter support

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

syscall tracing: update tests

Update syscall tracing tests following the semantic changes of enablers
in lttng-modules and disable behavior of lttng-sessiond.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Support lttng-modules syscall wildcards

While we are there, fix semantic issues with disable-event and various
types of instrumentation.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Implement lttng-modules tracepoint wildcard support

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix build when configuring with --disable-lttng-ust

Mark trace_ust_list_tracker_pids as static inline to eliminate
"multiple definition" error.

Fix ust_app_global_update() stub to reflect the signature change
introduced by a9ad0c8f

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: add missing function prototype to trace-ust.h header

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Implement PID tracker content listing

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Implement UST PID tracker

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Remove unimplemented UST domains

They will be implemented as options of the UST domains.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Implement PID tracking for kernel tracing

Implement PID tracking (per-session) for kernel tracing. Only
save/restore and MI are missing.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: leak on error in lttng-crash

Found by Coverity:
** CID 1291945:  Resource leaks  (RESOURCE_LEAK)
/src/bin/lttng-crash/lttng-crash.c: 769 in copy_crash_data()

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Man page fixes: missing --version option and typo

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: add lttng-crash(1) man page

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: lttng-crash refers to "lttng"

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: possible use of uninitialized data in loglevel conversion funcs

str will be uninitialized if inputstr[0] == '\0'

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: possible evaluation of garbage values in fini_validation_ctx()

Zero-out struct validation_ctx on creation.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Remove stale #ifdef-ed-out code from spawn_viewer()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Possible call to execvp with NULL argument on allocation failure

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Possible call to strtoul() with NULL argument

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: clarify lttng.1 shm-path section

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Missing return value check in extract_trace_recursive()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: recursive_rmdir: empty all empty subdir

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Move file creation/unlink from liblttng-ust-ctl to consumerd

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng-crash: support recursive traces

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

shm-path: remove directory hierarchy on destroy

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Implement --shm-path option for UST sessions (per-uid channels)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Reduce scope of connections in main relayd thread

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Reduce scope of relayd connections in live thread

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: connection_find_by_sock() must be called with rcu_read_lock

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Rename current release as 2.7.0-pre

This change is introduced to make the release name clearer than "master"
which may be misleading.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: grammar fix in Makefile

runned -> ran

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Change release name to master

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

configure: add type availability checking

Based on autoscan diagnostic

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

configure: add check for compiler inline keyword support

Check support of the inline keyword by the compiler.
If not supported, inline is replaced by the appropriate keyword or nothing.[1]

Based on autoscan diagnostic

[1]http://www.gnu.org/software/autoconf/manual/autoconf.html#AC_005fC_005fINLINE

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

configure: missing check for needed header

Based on autoscan diagnostic:

autoscan: warning: missing AC_CHECK_HEADERS([arpa/inet.h]) wanted by:
src/common/uri.c:21
src/common/sessiond-comm/sessiond-comm.h:38
src/bin/lttng/utils.c:28
autoscan: warning: missing AC_CHECK_HEADERS([netdb.h]) wanted by:
src/common/uri.c:22
autoscan: warning: missing AC_CHECK_HEADERS([netinet/in.h]) wanted by:
src/common/uri.h:21
src/common/sessiond-comm/sessiond-comm.h:39
src/bin/lttng/utils.c:27
autoscan: warning: missing AC_CHECK_HEADERS([paths.h]) wanted by:
src/common/daemonize.c:22
src/bin/lttng-sessiond/main.c:25
autoscan: warning: missing AC_CHECK_HEADERS([stddef.h]) wanted by:
src/common/defaults.c:20
src/common/hashtable/rculfhash-mm-chunk.c:25
src/bin/lttng-sessiond/ust-clock.h:26
autoscan: warning: missing AC_CHECK_HEADERS([sys/file.h]) wanted by:
src/common/utils.c:34
autoscan: warning: missing AC_CHECK_HEADERS([sys/ioctl.h]) wanted by:
src/common/kernel-ctl/kernel-ctl.c:22
autoscan: warning: missing AC_CHECK_HEADERS([sys/mount.h]) wanted by:
src/bin/lttng-sessiond/main.c:33
src/bin/lttng-relayd/live.c:30
src/bin/lttng-relayd/main.c:31
autoscan: warning: missing AC_CHECK_HEADERS([sys/param.h]) wanted by:
src/common/hashtable/utils.c:57
autoscan: warning: missing AC_CHECK_HEADERS([sys/time.h]) wanted by:
src/common/compat/compat-poll.c:23
src/bin/lttng-sessiond/ust-clock.h:24
src/bin/lttng-sessiond/fd-limit.c:21

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

configure: missing check of functions

Based on autoscan diagnostic

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: test: log4j: missing static test files for dist and out of tree build

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: test: java-jul:missing static test files for dist and out of tree build

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: out-of-tree build: missing xsd file for mi test execution

This need to be backported to stable 2.6.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: out-of-tree build: missing xsd file for save-load test execution

This need to be backported to stable 2.6 and stable 2.5

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: remove unused end_no_session label in ust_app_flush_session()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Remove unused "end" label in push_metadata()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Run health check test_thread_ok as part of root_regression

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: deadlock between UST registry lock and consumer lock

Reorganize locking of ust registry and consumer socket communication.

commit ce34fcd0 "Fix: per-uid flush and ust registry locking" attempted
to fix locking related to the UST registry, but doing so introduced a
deadlock. The actual solution is to reverse the order in which the UST
registry and the consumer lock nest: the UST registry will now to
responsible for serializing the registry content, and the consumer lock
will only protect communication with the consumer, as it should. This
deals with a TODO in the code.

The reason why this was not done from the beginning is that there was
originally an intent to make sure the ust registry lock is not held for
a long time, thus not while communicating with the consumer daemon.
However, when live has been implemented, it required communication with
the consumer daemon while the ust registry is held anyway. Therefore,
there is not much point anymore in trying to make sure this lock is not
held across the communication with consumerd in push_metadata. This
allows us to greatly simplify locking of the UST registry.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: uninitialized return value

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: build failure using disable-lttng-ust configure option

A stub for ust_app_get_size_one_more_packet_per_stream() is missing
which causes the build to fail when using the --disable-lttng-ust
configuration option.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Remove unused variable

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: setuid/setgid daemons should not get sensitive env. var./args

Also, don't allow lttng command line interface to run as setuid/setgid
binary.

Fixes #780

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: grab more than one packet for snapshots

There are a few issues with snapshot size: when taking a snapshot
without specifying any "max size" (should be unlimited), only a single
packet from each stream is saved. We expect all stream available content
to be saved. There is a similar issue when a max size is specified.

Also, trying to make all streams save as much data has unexpected
corner-cases: for instance, if we have this configuration:
- kernel channels: 2 subbuffers of 1MB x 8 CPUs
- per-PID UST channels: 16 subbuffers of 4kB x 8 CPUs x 100 apps

would require the user to have a very large max size, since it would try
to fit (8 + (100 * 8)) * 1MB = 808MB of sub-buffers, else it would fail.
This issue here is using the largest subbuffer size as the criterion
applied to all channels.

We fix those issues by simplifying the algorithm used to calculate how
much data to grab. Rather than calculating the size to grab from each
stream, we calculate a number of packets to grab. It fails if we cannot
grab at least one packet from each stream in the session. Then checks if
it can grab 2 packets from each stream, and so on, until there is no
more space available (based on max size). This is not a perfect
solution, but has the merit of being simple to understand, and has no
(or few) unexpected corner-cases.

Fixes #860

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: per-uid flush and ust registry locking

Commit c4b88406 "Fix: ust-app: per-PID app unregister vs tracing stop
races" introduces a regression for per-UID flush. It can be triggered by
the test_high_throughput_limits (root regression) test. For per-UID
tracing, we need to use the registry channel ID, not the per-application
channel ID, when asking the consumer daemon to flush.

When doing this fix, we notice that the locking rules of push_metadata()
are weird. A per-ust app session lock is protecting registry data, which
makes it impossible to call push_metadata from a ust session level (for
the entire session) in the case of per-UID tracing. Moreover, it's
unclear how holding a per-application lock can protect a registry shared
across applications in per-UID tracing. Therefore, we move all accesses
to the registry metadata_key and metadata_closed fields into the
registry lock critical section. We now only rely on RCU to ensure
existance of registry across push_metadata(), rather than relying on the
per-application session lock.

It also takes care of a documentation vs code mismatch: push_metadata()
documents that "The session lock MUST be acquired here before calling
this.", but in reality, it's the application session lock which is held
across those calls. Removing this requirement, and relying on RCU
instead, fixes this mismatch.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: Missing optional dependency on lttng-ust in README.md

Reported-by: Jonathan Rajotte <jonathan.rajotte@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: Grammar fixes in the lttng manpage

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: add missing UST perf counter support check

Report whether performance counters are supported by UST on the
architecture as soon as the user try to enable a perf counter context.

Fixes #851

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: tests: integer too large for long type

Compiler warns on 32-bit builds.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: undefined operation on last_relay_viewer_session_id

Triggers compiler warning on 32-bit build.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: print format type mismatch

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: print format type mismatch

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Remove structurally dead code from relayd

CID 1262070:  Structurally dead code  (UNREACHABLE)

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Remove logically dead code

*** CID 1262071:  Logically dead code  (DEADCODE)
/src/bin/lttng-sessiond/ht-cleanup.c: 130 in thread_ht_cleanup()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Remove unused label

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Remove unused argument in debug statement

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: exit threads not only on goto restart

Exit threads as soon as number of FD is 0, on every loop (no need for
goto restart special case). Number of FD being 0 is a sufficient
condition for exiting the thread: it means the quit pipe has been
removed from the poll set.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: poll: show the correct number of fds

LTTNG_POLL_GETNB() uses wait nb_fd, which is only updated after
lttng_poll_wait returns.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: call lttng_poll_set_max_size before start threads

This changes the location of lttng_poll_set_max_size() call within
sessiond main() to call it before creating the ht_cleanup thread. This
fix is only needed on top of the main refactoring patch.

This fix also adds checks for lttng_poll_set_max_size() error values.

Fixes #747

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: compat poll: add missing empty revents checks

Poll returns the entire array, including entries that have no activity.
We need to check them explicitly.

Fixes #747

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: various compat poll/epoll issues

poll:
- fix two nb_fd off by one in "add",
- simplify array size calculation,
- add error checking,
- compress the content of array before resizing it on "del"
  (out-of-bound memory access issue),
- set wait.nb_fd = 0 when no FD are present in array on wait,
- remove need_realloc flag: this can be checked internally by comparing
  current->alloc_size and wait->alloc_size. Minimize the number of
  duplicated state.

epoll:
- add error checking,
- simplify array size calculation (make it similar to poll),
- Set default size when poll_max_size is 0 within
  compat_epoll_set_max_size(), which allow better error checking
  elsewhere in epoll compat code.

Fixes #747

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add debugging output to ht-cleanup thread

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: mi: snapshot: missing error handling for session name

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: ust-app: per-PID app unregister vs tracing stop races

There are various races with UST application unregister performed
concurrently with tracing stop operation when tracing with per-pid
buffers. This randomly affects availability of data shortly after the
data pending check returns that no more data is available.

ust_app_stop_trace_all() iterates on all applications in the ust_app_ht
hash table to issue a flush on all buffers. This is needed to ensure
that the sub-buffers being written to are made available to the
consumer, for both data consumption, and for the data pending check.
Failure to execute the sub-buffer flush makes following data pending
check return that there is no data in the buffers too early, thus
resulting in an incomplete trace.

It is therefore important that an application flushes all its buffers
before it is removed from the ust_app_ht.

This is where ust_app_unregister() needs to be fixed. Note that
ust_app_unregister() executes concurrently with
ust_app_stop_trace_all(), only taking the per-session lock. The order of
flush vs hash table removal therefore matters:

We need to push the metadata before removing application from
ust_app_ht. We also need to issue a flush for all application buffers
before removing the application from ust_app_ht.

Once this is fixed, there is yet another race, this time in
ust_app_flush_trace() (now renamed ust_app_flush_session()). It is
caused by the use of ustctl_sock_flush_buffer() which asks the
application to perform the buffer flush. Unfortunately, if the
application vanishes (not reachable anymore), but its unregistration has
not yet been processed by sessiond, then ust_app_stop_trace_all() will
fail to flush the application buffers, because
ustctl_sock_flush_buffer() will fail.

This final issue is fixed by asking the consumer daemon to flush the
associated channel rather than relying on the application.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: data pending: allow empty streams

There are cases where a stream can be completely empty (no packet to
write) with UST: for instance, if a traced application is either
preempted for a long time, terminated, or stopped, between reserve and
commit. This will make the consumer consider that this stream has no
data ready. If this situation occurs in the first sub-buffer of a
stream, this stream will have no data at all (0 bytes).

Therefore, we need to let the data pending check consider that no data
is pending in this situation, otherwise it can make the data pending
check always return that there is data pending.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: ust snapshot: cleanup after error

The "break" statement on error skips the rest of the functions, thus
leaving test applications running after the end of the test, which is a
side-effect on the following tests.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Mismatching return type in ust_app_ht_alloc() stub

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: lock file already taken is error, not warning

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: ust-app null pointer check needed for main refactoring

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: relayd: centralize thread stopping function

Rather than relying on having main.c and live.c threads both using the
same notification pipe from different stop_thread implementations,
centralize thread stop in one central function exposed to both main.c
and live.c

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Replace all perror() uses by the PERROR macro

PERROR prints the perror() message in our own logging format rather
than going straight to stderr.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Refactor relayd main/set_options/cleanup

- Enforce symmetry between allocation and teardown,
- Handle all errors,
- Return all errors as EXIT_FAILURE,
- Standardize on zero being success, nonzero being error,
  (rather than < 0 being error),
- Fix pthread PERROR: we need to store ret into errno before
  calling PERROR, since pthread API does not set errno,
- Join errors now fall-through, rather than rely on the OS
  to teardown the rest.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Refactor consumerd main/cleanup

- Enforce symmetry between allocation and teardown,
- Handle all errors,
- Return all errors as EXIT_FAILURE,
- Standardize on zero being success, nonzero being error,
  (rather than < 0 being error),
- Fix pthread PERROR: we need to store ret into errno before
  calling PERROR, since pthread API does not set errno,
- Join errors now fall-through, rather than rely on the OS
  to teardown the rest.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Refactor sessiond main/cleanup/ht-cleanup

Main reason for this entire patchset: move teardown of ht-cleanup thread
_after_ the sessiond cleanup which needs to destroy hash tables. This
fixes leaks at sessiond teardown that makes the valgrind output hard to
use. As this has been done, various other issues with error handling,
leaks, and symmetry of allocation and teardown have been fixed, which
makes this a refactoring.

- Enforce symmetry between allocation and teardown,
- Handle all errors,
- Return all errors as EXIT_FAILURE,
- Standardize on zero being success, nonzero being error,
  (rather than < 0 being error),
- Fix pthread PERROR: we need to store ret into errno before
  calling PERROR, since pthread API does not set errno,
- Join errors now fall-through, rather than rely on the OS
  to teardown the rest.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Missing error handling: consumer_signal_init should return its error status

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: consumerd: lines over 80 columns

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: consumerd: use PERROR rather than perror

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Cleanup: lttng-consumerd: remove stale TODO comment

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Misleading error handling: utils_create_pid_file() should return 0 on success

fprintf returns a positive value on success, which is used as return
value for utils_create_pid_file(), which is odd. This is in preparation
for main() refactoring.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Missing error handling: consumerd parse_args should return errors to caller

In preparation for having main() handle the return value.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Missing error handling: ust_app_ht_alloc should return error status

In preparation for having sessiond main() handle the error.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: ust app leak on UST buffer creation error

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>