Fix: relayd: crash on creation of session by peer < 2.11

Observed issue
==============

A NULL pointer dereference occurs during the creation of
a session that is associated with a peer older than 2.11.

The resulting backtrace follows:

 Program terminated with signal SIGSEGV, Segmentation fault.

 #0  0x0000564af45b755b in lttng_trace_chunk_set_as_owner (chunk=0x7f8ca8004730, session_output_directory=0x7f8ca8004680) at trace-chunk.c:1033
 1033 if (chunk->path[0] != '\0') {
 [Current thread is 1 (Thread 0x7f8cb808d700 (LWP 7300))]

 #0  0x0000564af45b755b in lttng_trace_chunk_set_as_owner (chunk=0x7f8ca8004730, session_output_directory=0x7f8ca8004680) at trace-chunk.c:1033
 #1  0x0000564af45a6a78 in session_set_anonymous_chunk (session=0x7f8ca8001380) at session.c:229
 #2  session_create (session_name=<optimized out>, hostname=<optimized out>, base_path=<optimized out>, live_timer=<optimized out>, snapshot=<optimized out>,
     sessiond_uuid=<optimized out>, id_sessiond=<optimized out>, current_chunk_id=<optimized out>, creation_time=<optimized out>, major=<optimized out>,
     minor=<optimized out>, session_name_contains_creation_time=<optimized out>) at session.c:416
 #3  0x0000564af459207e in relay_create_session (conn=0x7f8ca0000f60, payload=<optimized out>, recv_hdr=<optimized out>) at main.c:1428
 #4  0x0000564af4594f12 in relay_process_control_command (payload=0x7f8cb808c940, header=0x7f8ca0001000, conn=0x7f8ca0000f60) at main.c:3218
 #5  relay_process_control_receive_payload (conn=0x7f8ca0000f60) at main.c:3361
 #6  0x0000564af45980b0 in relay_process_control (conn=0x7f8ca0000f60) at main.c:3478
 #7  relay_thread_worker (data=<optimized out>) at main.c:3927
 #8  0x00007f8cbba9a46f in start_thread () from /usr/lib/libpthread.so.0
 #9  0x00007f8cbb9ca3d3 in clone () from /usr/lib/libc.so.6

Cause
=====

lttng_trace_chunk_set_as_owner() correctly handles the case
where a trace chunk has no output path, but expects the path
to be an empty string rather than being NULL.

This is not correct as an anonymous chunk, created in backward
compatibility mode when interacting with older peers, has no
path; the path is transmitted as part of the streams' attributes
upon their creation.

Solution
========

Simply check for a NULL pointer in the same place where the empty
chunk path string is created. The rest of the code in trace-chunk.c
doesn't assume that the chunk's path is non-NULL.

Note
====

The problem was introduced during the 2.12 release cycle (clear
feature); this doesn't need to be backported.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: Iaeb41e1648d61fbbe78d70b21191fd6d720900df

Fix: consumer: fallback to flush when flush empty is unsupported

Session destruction fails on older (<= 2.8) lttng-modules as the
flush_empty fails on the kernel streams during the quiet rotation.

Fallback to the regular flush as the semantics of regular rotations
are not expected here; we merely want to flush any pending data and
destroy the session.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: Ifdf8a4e60b55dbf582747d71f5c2485d24c11964

Fix: consumerd: incorrect clear logging statement

A logging statement was apparently copy-pasted from the rotation code
and not adapted for the consumer_clear_buffer command and would
indicate that a flush operation failed when a clear operation was
performed.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I909a391fbd8b8bf48c7481d394571ad19d7f6332

Fix: sessiond: error reported on session destruction for old modules

The session destruction command will return
-LTTNG_ERR_ROTATION_NOT_AVAILABLE_KERNEL when the kernel tracer
version does not support packet sequence numbers which prevents
rotations from being performed.

It is okay to not perform an implicit rotation in this case since we
know that no rotations have occurred during the session's lifetime (as
it is not supported). Thus, the client/library only needs to stop the
session, wait for pending data, and destroy the session.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: Ibccf73f08eecb6431ea3cc358bf8dd6af3ba4427

Fix: sessiond: erroneous error code returned on rotation failure

`LTTNG_ERR_KERN_CONSUMER_FAIL` is returned by the kernel domain
rotation handling code. This code is associated with a failure to
launch the kernel consumer daemon which is not the case here.

The `LTTNG_ERR_ROTATION_FAIL_CONSUMER` is used instead and returned to
the client.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: Ifdc9e46addcc4dc7ca2002d6dff5b2d7ac6c31f3

Fix: lttng-destroy: missing newline on session destruction message

The lost packets/discarded events statistics are printed on the same
line as the session destruction progress message when the session is
stopped as part of the `destroy` command.

This is a consequence of printing the statistics as they are
retrieved; the statistics must be fetched before the destruction,
but the progress indicator is still being printed.

The statistics output is now formatted to a buffer and printed
after the session's destruction has completed.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I2105056b109774a57c83be3e30984038880c0fb7

relayd: clean-up: reference is repeated in comment

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I2d963d5a3c0a2980eb745780b342b1fa9b14184d

Typo: 'Descritptor' -> 'Descriptor'

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: I3b616777c9d39e23b84224cb1a6a92fa43fceb45
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Typo: 'Accomodate' -> 'Accommodate'

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: I1f5408d82546db7df14d4899d4d2c52ec1421b52
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: tracker: NULL pointer dereference after NULL check

value_view can be NULL and must thus be checked before use.

Moreover, the fix introduced in 1ad5cb59 is erreneous: the
function must validate that either:
  - value is a 'name' type, value_view is not null, and not len == 0,
  - value is an integer and value_view does not contain more data.

In process_attr_value_from_comm: Pointer is checked against null but
then dereferenced anyway (CWE-476)

Reported-by: Coverity Scan
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: Ia130ef57e10118960f1023338b90f7a10d588ee2

Update version to v2.12.0-rc3

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I7e72fd3a7b710ae373dac88956772b1fe74619af

Fix: remove duplicated AC_INIT directive

The release script got confused by the new SPDX header which caused
the AC_INIT directive to get duplicated. This causes the configure
script to hang.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: If91e3db17ca46b697870ab37dc998b050ee7284c

Update version to v2.12.0-rc2

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I285efedca101d130eef5de700b8a8a7a0bd7558a

Fix: sessiond: NULL pointer dereference after NULL check

The process attribute value deserialization allows the buffer view to
be NULL when the value's type is not USER_NAME nor GROUP_NAME. This is
not checked when ensuring that no string is passed (len == 0) in the
case of integral values.

A NULL check is added to the condition.

Reported-by: Coverity Scan
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I343f747c325f739196284dadd3c407cfb4084268

Fix: sessiond: missing goto in error handler

The trace_ust inclusion set add/remove methods do not jump to the
end label after checking the `tracker` variable. This can result
in a NULL pointer dereference when an invalid process attribute
is specified.

The same problem appears in save_process_attr_trackers() and
process_attr_value_from_comm().

The missing jump (goto) is added in all cases.

Reported-by: Coverity Scan
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I473e008e5330a4c3820c8ab7c57ce4f2961e79b2

Fix: sessiond: user/group name can be leaked on malformed command

process_attr_value_from_comm() can leak a copy of the user/group
name when the value type is erroneous. This is not reachable in
"normal" execution, but could be triggered by invalid "crafter"
lttng-ctl commands.

In process_attr_value_from_comm: Leak of memory or pointers to
system resources (CWE-404).

Reported-by: Coverity Scan
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I7ef55c0743c954a93e3d27ce17e6478708b49437

configure: add -Wmissing-declarations, -Wmissing-prototypes, and more

Here's the rationale for each:

- -Wmissing-declarations: Make sure the definition of a function can
  "see" a corresponding (usually in a header file), if it isn't static.
  This makes sure that the declaration and definition don't go out of
  sync, which can lead to hard to debug problems (because it still
  builds, but the function doesn't receives what it thinks it receives).
  On top of pointing out out-of-sync declarations, it can help point out
  that a foo.c file misses including its header foo.c, or that a
  function should actually be made static.

- -Wmissing-prototypes: makes sure that functions without parameters are
  declared as `foo(void)` instead of `foo()`.  In C, the former declares
  a function that takes no parameters, whereas the latter declares a
  function without specifying its parameters.  The latter could be
  called with any number of parameters, which is a recipe for confusion.

- -Wmissing-parameter-type, -Wold-style-definition,
  -Wold-style-declarations, -Wstrict-prototypes: makes sure there's no
  function declared with parameters without types specified, or using
  the old style:

  int foo(bar)
  int bar;
  {
    ...
  }

  Unlikely, but there's no harm in enabling them.

Change-Id: I7ddf5ff61b4466c0bd7b03485ef29156c399e2a8
Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: sessiond: make the --without-lttng-ust version of launch_application_notification_thread static

When building with --without-lttng-ust, a simple version of
launch_application_notification_thread, implemented in the header file,
is used.  We get this warning:

      CC       main.o
    In file included from /home/simark/src/lttng-tools/src/bin/lttng-sessiond/main.c:61:
    /home/simark/src/lttng-tools/src/bin/lttng-sessiond/notify-apps.h:17:6: error: no previous prototype for ‘launch_application_notification_thread’ [-Werror=missing-prototypes]
       17 | bool launch_application_notification_thread(int apps_cmd_notify_pipe_read_fd)
          |      ^~~~~~~

Make the function `static inline` to avoid that.  The `inline` is not
strictly required here, but if that header ended up included by some
other source file that didn't use
launch_application_notification_thread, we would get a -Wunused-function
warning.  The `inline` avoids that.

Change-Id: I19605e0594af0d7997951def2da3a6313bf65e11
Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: tests: include callsites.h from callsites.c

In commit:

    commit f12eb9c1ceb619db54be0842323a32cda12651cd
    Author: Simon Marchi <simon.marchi@efficios.com>
    Date:   Mon Nov 25 16:41:29 2019 -0500

        Fix all -Wmissing-declarations warning instances

I've fixed the -Wmissing-declarations warning in callsites.c by adding a local
declaration.  That was wrong, since there is actually a callsites.h header file
that needs to be included, which contains the declaration.  This is nicely
pointed out when building with clang and -Wstrict-prototypes:

      CC       exec_with_callsites-multi-lib-test.o
    In file included from /home/simark/src/lttng-tools/tests/regression/ust/multi-lib/multi-lib-test.c:15:
    /home/simark/src/lttng-tools/tests/regression/ust/multi-lib/callsites.h:10:21: error: this function declaration is not a prototype [-Werror,-Wstrict-prototypes]
    void call_tracepoint();
                        ^
                         void

Remove the local declaration and include callsites.h in callsites.c.

Change-Id: Ib656d96c2ed3b389697a2022e343e98ac0b66447
Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: relayd: cast idigit argument to unsigned char

This diagnostic is emitted when building on cygwin:

    main.c:233:34: warning: array subscript has type ‘char’ [-Wchar-subscripts]
      233 |    if (errno != 0 || !isdigit(arg[0])) {
          |                               ~~~^~~

This is due to passing a `char` argument to isdigit.  According to the
man page of isdigit, the arguments of type `char` must be cast to
`unsigned char`, so they are able to represent the EOF value.  This
patch does that, and should get rid of the warning.

Change-Id: Iaed4c0b494a79b917761e65f18388f43478b97e1
Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: tests: make some functions static

Make two functions static, they are only used in their respective file.

Change-Id: I022dd064249683c9414ab36602e9645865373c51
Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: tests: add `void` parameter to functions that take no parameters

In C, empty parenthesis declare a function without a prorotype (without
specifying its parameters).  This is not the same as having a `void`
parameter, which declares a function which has no parameters.

It's safer to use the later, otherwise it makes it possible to
erroneously call the function with some arguments.

Change this `test_function` to add `void`.  It fixes diagnostics like:

  CC       userspace-probe-elf-binary.o
/home/simark/src/lttng-tools/tests/utils/testapp/userspace-probe-elf-binary/userspace-probe-elf-binary.c:12:33: error: no previous prototype for ‘test_function’ [-Werror=missing-prototypes]
   12 | void __attribute__ ((noinline)) test_function()
      |

Change-Id: Iceb7636e44d45f51889667ec76f2c04c032b5df8
Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: common: make lttng_trace_chunk_remove_subdirectory_recursive static

This function is only used in this file, make it static.  Fixes this
diagnostic:

  CC       trace-chunk.lo
/home/simark/src/lttng-tools/src/common/trace-chunk.c:1498:5: error: no previous prototype for ‘lttng_trace_chunk_remove_subdirectory_recursive’ [-Werror=missing-prototypes]
 1498 | int lttng_trace_chunk_remove_subdirectory_recursive(struct lttng_trace_chunk *chunk,
      |     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Change-Id: I19e03b64557ce845b94f02fcf0d6fbafba654d95
Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: common: add `void` parameter to log_add_time declaration

It makes it match the definition and fixes this warning:

      CC       error.lo
    /home/smarchi/src/lttng-tools/src/common/error.c:33:13: error: no previous prototype for ‘log_add_time’ [-Werror=missing-prototypes]
     const char *log_add_time(void)
                 ^~~~~~~~~~~~

Change-Id: Ibbf5eebd8171504bc7050c754e2a5d113b6b5387
Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

CONTRIBUTING.md: harmonize list style with the rest of the docs

Append full stops (periods, for our non-British friends) and
capitalize list elements as they are complete sentences on their own.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I7646cafa8a23a3dc6cfabea2dd5a54ce244eb2b3

CONTRIBUTING.md: clarify the guidelines for commit messages

In order to streamline the code review process, I am adding a more
detailed explanation of the desired commit message format.

Of note, the commit title format `Fix: sub-system`, used informally
for a couple of months, is adopted for bug fixes. A template of the
sections expected in the commit message body of those patches is also
included.

More general guidelines are also added for feature contributions.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: Id0097949ca984e88367e8e78cb6111adb30c5b99

Fix: lttng-list: don't warn when the kernel domain has no channels

Some commands beside lttng-enable-channel have the side-effect of
creating a domain. For instance, the lttng-track and lttng-untrack
commands will implicitly create their target domains if they don't
exist. Thus, it is not unexpected for a domain to exist without
channels.

Currently, tracking process attributes in the user space and kernel
domains will result in a warning being printed when lttng-status
(or lttng-list `the_session`) is invoked.

Example output:
Tracing session arielle_bolduc: [inactive]
    Trace output: /home/jgalar/lttng-traces/arielle_bolduc-20200323-191128

=== Domain: Linux kernel ===

Tracked process attributes
  Process IDs: all
  Virtual Process IDs: 12365, 526, 41
  User IDs: all
  Virtual User IDs: all
  Group IDs: all
  Virtual Group IDs: all

Warning: No kernel channel
=== Domain: User space ===

Buffering scheme: per-user

Tracked process attributes
  Virtual Process IDs: 12365, 526, 41
  Virtual User IDs: all
  Virtual Group IDs: all

The warning is removed since it can only confuse users.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I733ee6c3d8c1d297194842c7bdbdf3f237661e51

Refactor: lttng-ctl: follow terminology of the tracker documentation

This commit harmonizes the process attribute tracker API and
serialization formats (save/restore and MI) with the documentation
with regards to the terminology used.

The message of the parent commit adjusting the manual pages of the
lttng-track and lttng-untrack commands details those terminology
changes and their rationale.

Some problems with the API introduced during the 2.12 development
cycle are also adressed:

Type safety:
  - The process attribute tracker is made type safe with regards
    to the platform's native types to express process
    attributes. Where the original API casted all integral values to
    integers, this change introduces accessors for all process
    attribute types (pid_t, uid_t, gid_t). This makes it easier to
    use the API safely and without producing warnings in user's
    code.

    Another benefit of adopting this explicit type-safe approach is
    that is will make it easier to add new attributes which are not
    expressible (or non-ambiguously expressible) using `int` and
    `string` types (e.g. tracking a virtual PID within a given
    namespace).

Ambiguity of INCLUDE_ALL, EXCLUDE_ALL, and INCLUDE_SET states:
  - The original tracker API has a notion of 'enabled' pid_tracker
    which is confusing to users:
      - enable = 0: everything is tracked,
      - enable = 1: a list of tracked pids is provided, which may be
        empty.
      - pid '-1' is *special* and tracks or untracks everything.

    This was replaced with a 'special' opaque value meaning 'ALL'
    which, while being clearer, was still confusing and hard to
    document.

    The revised API explicitly expresses the notion of a tracking
    policy (`enum lttng_tracking_policy`). When that policy is set
    to `LTTNG_TRACKING_POLICY_INCLUDE_SET`, the inclusion set can
    be queried and/or mutated.

    On top of being clearer, this aligns more closely with the
    internal lttng-sessiond daemon API which gets rid of a lot
    of code to handle those special cases. The resulting code is
    more verbose, but a lot easier to understand.

    Moreover, the types introduced (e.g. lttng_process_attr_values)
    are meant to be re-used if a new
    `LTTNG_TRACKING_POLICY_EXCLUDE_SET` tracking policy is added in
    the future.

Documentation:
  - The revised API includes a complete documentation. It documents
    the API usage, but also adds implementation notes such explicitly
    mentionning when/where user names and group names are resolved.

Client:
  - While making the changes to use this new API, some error messages
    are clarified (or added). The resulting output when listing the
    trackers was also changed to be more compact.

    The CLI output now also makes use of the terminology used in
    the documentation for all commands interacting with process
    attribute trackers.

    It is now also possible to specify multiple process attribute
    trackers along with the --all option for the lttng-track and
    lttng-untrack command.  For instance: `lttng tracker --userspace
    --vpid --vuid --all` is now allowed.

    The same process attribute tracker can also be specified more than
    once in a command, as follows:
    `lttng track --userspace --vpid 43,11 --vpid 55,77`

Since the serialization had been changed during the 2.12 cycle, I
changed them further to use the API's terminology in the element
names.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I5f0ea2849eb024ea6944b2ee7dbadfd893cc0be4

lttng: list: replace domain headers with the official names

The lttng-list command uses the following domain headers
when printing domain listings:
  - `Kernel`
  - `UST global`
  - `JUL (Java Util Logging)`
  - `LOG4j (Logging for Java)`
  - `Python (logging)`

Those don't match the official project names and/or names
used in the LTTng online documentation.

They are replaced by:
  - `Linux kernel`
  - `User space`
  - `java.util.logging (JUL)`
  - `log4j`
  - `Python logging`

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I549b309eebf0d00dfaacbed00e263f4e5e3d718b

lttng: list: print `per-user` and `per-process` buffer types

The lttng-list command prints `per UID` and `per PID` for the
buffer type which is inconsistent with the terms used in the
documentation.

Moreover, `Buffer type` is replaced by `Buffering scheme` for
the same reason.

Change the print-out to match the online documentation.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: Id20098386ec0369fae017d01786ecc13c78820c0

Docs: overhaul of lttng-track(1) and lttng-untrack(1)

- Replace the term whitelist by "inclusion set"

  The use of whitelist (and its counterpart, blacklist) is somewhat
  controversial and doesn't align with the terms used in the tracker
  API.

  The "inclusion set" nomenclature is inspired by that used by ACL,
  namely "include list" and "exclude list". Set is preferred to list
  as there is no implied notion of order.

- Adapt process attribute descriptions

  The process attribute descriptions were apparently copy-pasted from
  the original PID description (all are referencing "process IDs").

  A suitable description is added for each process attribute.

- Add new process attributes to lttng-untrack(1)

  The lttng-untrack man page was not updated when the resource types
  introduced in LTTng 2.12 were added to lttng-track(1).

- Group all process attributes with their 'virtual' counter-parts

  The order in which process attributes were described was: pid, uid,
  gid, vpid, vuid, vgid.

  Grouping process attributes with their virtual counterpart (e.g. pid
  followed by vpid) makes it easier to understand the difference at a
  glance.

  The order becomes: pid, vpid, uid, vuid, gid, vgid

- Remove all PID-specific wordings in lttng-untrack(1)

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I46486c4e90003da3e860682f6c22a0e4a154492b

Fix: MI: bump MI schema version to 4.0 in mi-lttng.c

The MI schema has been bumped to 4.0, but the internal constant
in mi-lttng.c still indicates a 3.0 schema. Synchronize both
versions to 4.0 for the 2.12 release.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: Ia27e15e2c154b2fd39eeaaa6c71df922a233bc80

Fix: sessiond: occasional badfd error on repeated SIGTERM

The session daemon occasionally prints the following messages
when it received multiple SIGTERM signals:

PERROR - 16:50:18.505585257 [49845/49845]: write poll pipe: Bad file
descriptor (in notify_thread_pipe() at utils.c:35)

This is caused by a (somewhat inevitable) race between the teardown of
the daemon and the closing of its quit pipe. This happens more often
when kernel modules take a long time to be unloaded and the user
spams ctrl+c in the hope of convincing the daemon process to close
faster since modules are unloaded after closing the quit pipe.

Setting closed pipe fds to '-1' is safe anyway and is already
handled by the notify_thread_pipe() util.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: If08a455c65055dcb56ffbad3703173e6a45cfba5

Fix: lttng: incorrect domain list printed when no domain is provided

The following commands make use of a common utility function to
validate the count of domains specified and print an error when it
is invalid:
  - lttng-enable-event,
  - lttng-disable-event,
  - lttng-track,
  - lttng-untrack,
  - lttng-add-context,
  - lttng-enable-channel,
  - lttng-disable-channel.

Those commands do not allow the same domains to be used. In fact, they
all expect --kernel or --userspace only, except for the
lttng-enable-event, lttng-disable-event, and lttng-add-context
commands which allow the --log4j, --jul, and --python domain options
to be used.

Currently, the error message when no domain is specified is incorrect
for all of those commands. The error reads as follows:

`Error: Please specify a domain (-k/-u/-j).`

For most commands, the -j option cannot be used. For those that allow
agent domains, the message is missing the -l and -p domains.

This ensures that the expected domains are printed for each of those
commands.

Moreover, the message is clarified by using the long form option
names.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I45aee075dbf6c62c4120bdeb06697b88b2d8716c

Fix all -Wdiscarded-qualifiers warning instances

Change-Id: I85246856d284d5a2dad9609f5fb06d32a89dbb7c
Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove part of last name to fit in a 80 character line

It plays much more nicely with the .clang-format since it ensure that
the line stay inside the 80 column limit.

It also match my signed-off and other files already present in the
project.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: Ib1ce1f101e9f24c03a05888b5fb1901341d8c005
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Tests: trace path wildcards not expanded

Issue
=====
Some testcases related to `--live` sessions in
`tools/clear/{test_ust,test_kernel}` fail with the following error:
  ls: cannot access '/tmp/tmp.gi1eVM3fZ9/tmp.dNL0WHRTQ3/ci-node-bionic-amd64-02-04/LUP49x7iV7xexehS*': No such file or directory
  not ok 61 - Failed to list content of directory "/tmp/tmp.gi1eVM3fZ9/tmp.dNL0WHRTQ3/ci-node-bionic-amd64-02-04/LUP49x7iV7xexehS*"
  FAIL: tools/clear/test_ust 61 - Failed to list content of directory "/tmp/tmp.gi1eVM3fZ9/tmp.dNL0WHRTQ3/ci-node-bionic-amd64-02-04/LUP49x7iV7xexehS*"
  #   Failed test 'Failed to list content of directory "/tmp/tmp.gi1eVM3fZ9/tmp.dNL0WHRTQ3/ci-node-bionic-amd64-02-04/LUP49x7iV7xexehS*"'
  #   in ./tools/clear//../../../utils/tap/tap.sh:fail() at line 159.

They fail because the wildcard character `*` is used in a path and is
not expanded when comes the time to list the content of the expanded
path.

In `--live` related tests, we use a wildcard in those paths because we
can't know the full name of the output directory as it's named by the
sessiond.

This bug was introduced (or rather not fixed) by the following commit:
  commit 94360c17201a28466af49058735166c73f9ae130
  Author: Francis Deslauriers <francis.deslauriers@efficios.com>
  Date:   Fri Mar 6 18:18:14 2020 -0500

      Fix: Tests: utils.sh: merge `validate_{directory,folder_is}_empty` functions

Solution
========
Remove the double quotes around the path variable so that wildcards can
be expanded as expected.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Change-Id: If4a72fab0d487cf6e6b021dfad9eca6d0d60d5f4
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Tests: `gen-ust-events` doesn't error out on invalid option

Issue
=====
When running `gen-ust-events` with an invalid option:
  ./gen-ust-events -h

The `getopt_long()` function prints the following error:
  ./gen-ust-events: invalid option -- 'h'

which is very kind of it.

The problem is that the process keep running and go on to generate
events. It should exit right away.

Solution
========
Remove the `break` statement and so that we execute the `goto end`
right away.

Apply the same changes to `gen-ust-nevents`.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Change-Id: Ib1c96f4c9ed8f98395bf842215f858a69db2bbf0
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Tests: utils.sh: merge `validate_{directory,folder_is}_empty` functions

Issues
======
1. Both functions aim to do the same thing.

2. The current `validate_folder_is_empty` function uses an erroneous
   way of checking if a folder is empty. `ls -A` returns zero on
   success; it doesn't return the number of files and sub-folders. A
   correct way to get the number of elements in a directory is to pipe
   the output of `ls -A` to `wc -l`.

3. The `local_path` variable is used undefined in the current
   `validate_directory_empty` function.

   It just happens that the `local_path` variable is defined in all
   but one of the callsites of this function so those calls work as
   expected.

   The other call to this function was
   bogus (tests/regression/tools/clear/test_ust:323) because it uses
   the `$TRACE_PATH` variable name.

Fixes
=====
- Merge both functions into one, keeping the name
  `validate_directory_empty`,

- Fix the emptiness check,

- Fix usages of `validate_directory_empty` in tests.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Change-Id: Id75baf16f42866e3b978389f9aada4a2f6b6f2ae
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Tests: undefined `NR_USEC_WAIT` bash variable

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Change-Id: I18eff11e47340245c595d4883f280d0fed23ca48
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

directory-handle: print `errno` reason on `unlinkat()` error

This is helpful while troubleshooting clear and rotation issues.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I92f9551a49fced7603c8dca832566de71b188528

Fix: lttng-ctl: _handle can be NULL

lttng_destroy_session_no_wait does not care for the returned handle
and passes a NULL _handle.

This leads to an immediate LTTNG_ERR_INVALID failure on
lttng_destroy_session_no_wait calls.

lttng_destroy_session_ext already performs a null check on _handle
before assigning it to transfer ownership of the handle.

Fixes #1241

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: I9e8bee28382fa2250dee720037efdf77b4e776b8
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: sessiond: domain subdirectory not deleted on empty clear

Scenario
=====

$ lttng create
$ lttng enable-event -u -a
$ lttng start

// no events are produced.

$ lttng clear

Sessiond fails on clear with this message:

Error: Error removing subdirectory '.tmp_new_chunk' file when deleting
chunk

Cause
=====

The "ust" domain directory is still present preventing the removal of
the ".tmp_new_chunk" directory.

Solution
=====

Use lttng_trace_chunk_create_subdirectory, ensuring that the domain
folder is moved/deleted as necessary.

Fixes #1244

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: I81d23ffc9f330f50f718957d460ee7a2718c95a1
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Ignore -Wincomplete-setjmp-declaration warnings

We currently get this when building a test that requires UST:

    make[4]: Entering directory '/home/smarchi/build/lttng-tools-clang/tests/regression/ust/linking'
      CC       tp.lo
    In file included from /home/smarchi/src/lttng-tools/tests/regression/ust/linking/tp.c:11:
    In file included from /home/smarchi/src/lttng-tools/tests/regression/ust/linking/./ust_tests_demo.h:38:
    In file included from /home/smarchi/install/include/lttng/tracepoint-event.h:58:
    In file included from /home/smarchi/install/include/lttng/ust-tracepoint-event.h:28:
    In file included from /home/smarchi/install/include/lttng/ust-events.h:41:
    /usr/include/pthread.h:744:12: error: declaration of built-in
    function '__sigsetjmp' requires the declaration of the 'jmp_buf'
    type, commonly provided in the header
    <setjmp.h>. [-Werror,-Wincomplete-setjmp-declaration]
    extern int __sigsetjmp (struct __jmp_buf_tag *__env, int __savemask) __THROWNL;
               ^

I'm not sure what we can do about it, and I believe the warning is
bogus.  I do have a definition for the "jmp_buf" type in
/usr/include/setjmp.h:

    typedef struct __jmp_buf_tag jmp_buf[1];

And even with I include <setjmp.h>, the warning does not go away.  I'm
not sure if that's right, but this patch disables the warning.

Change-Id: Ibe7451dc0afc9aaca59431296d42011d9e4306f9
Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

tests: put -no-pie in LDFLAGS instead of CFLAGS

When building with clang, we get:

    make[4]: Entering directory
    '/home/smarchi/build/lttng-tools-clang/tests/utils/testapp/gen-syscall-events-callstack'
      CC       gen-syscall-events-callstack.o
    clang: error: argument unused during compilation: '-no-pie'
    [-Werror,-Wunused-command-line-argument]

Indeed, -no-pie should be in LDFLAGS, not CFLAGS.

To make sure that Makefiles can use `AM_LDFLAGS += ...`, I have added
an AC_SUBST for AM_LDFLAGS in configure.ac.  This makes it so that if
we ever set AM_LDFLAGS for real in configure.ac, the Makefiles won't
inadvertently overwrite that value.

Change-Id: I7bad985bb135e50750917db6a928f2705a85b445
Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Silence `POSIX Yacc` warnings

Flex/Bison warn that we make use of two non-POSIX directives,
%code and %define. Coincidentally, we don't use POSIX Yacc!

From the bison documentation, "[...] -Wno-yacc will hide the warnings
about POSIX Yacc incompatibilities." [1].

Thus, this flag is added to the YFLAGS.

  YACC     filter-parser.c
/home/jgalar/EfficiOS/src/lttng-tools/src/lib/lttng-ctl/filter/filter-parser.y:293.1-5:
warning: POSIX Yacc does not support %code [-Wyacc]
  293 | %code provides
      | ^~~~~
/home/jgalar/EfficiOS/src/lttng-tools/src/lib/lttng-ctl/filter/filter-parser.y:301.1-7:
warning: POSIX Yacc does not support %define [-Wyacc]
  301 | %define api.pure
      | ^

[1] https://www.gnu.org/software/bison/manual/html_node/Diagnostics.html

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: Iaf65534bc47514d3a99b97ce414880a6afc723b9

Fix -Wmissing-declarations warnings in filter-parser.y

Make gc_string_append and yyerror static, as they are only used in
this file.

Remove yywrap, apparently, it's not used.  This probably has to do
with the fact that our lexer uses the noyywrap option.

setstring is used by filter-lexer.c (generated from filter-lexer.l),
which has its own local setstring declaration.  This is not very good,
because the prototype of setstring could change in the implementation,
and the users of the function would still compile, but then it would
probably crash inexplicably at runtime.

Instead, put the declaration in filter-parser.h, using a "%code
provides" directive.  That seems to be the intent of "%code provides"
[1]:

    Purpose: This is the best place to write additional definitions and
    declarations that should be provided to other modules.

[1] https://www.gnu.org/software/bison/manual/html_node/_0025code-Summary.html

Change-Id: I04ce69ae9808b72e96bf9e602772f0e5758dfc10
Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Include cmd-2-2.h in cmd-2-1.h

Fixes:

      CC cmd-2-2.o
    /home/smarchi/src/lttng-tools/src/bin/lttng-relayd/cmd-2-2.c:36:5:
    error: no previous declaration for ‘cmd_recv_stream_2_2’
    [-Werror=missing-declarations] int cmd_recv_stream_2_2(const
    struct lttng_buffer_view *payload, ^~~~~~~~~~~~~~~~~~~

... and helps ensure that the declarations are in sync with the
definitions.

Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Change-Id: I889d7306c157b0d68d24bf610fce18c8949422d8
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Make create_file function static in gen-ust-tracef.c

Fixes:

      CC gen-ust-tracef.o
    /home/smarchi/src/lttng-tools/tests/utils/testapp/gen-ust-tracef/gen-ust-tracef.c:36:6:
    error: no previous declaration for ‘create_file’
    [-Werror=missing-declarations] void create_file(const char *path)
    ^~~~~~~~~~~

Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Change-Id: I12359b30054da609be2aca998de960719120083e
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Make remove_file_from_hierarchy function static in test_directory_handle.c

Fixes:

      CC test_directory_handle.o
    /home/smarchi/src/lttng-tools/tests/unit/test_directory_handle.c:139:5:
    error: no previous declaration for ‘remove_file_from_hierarchy’
    [-Werror=missing-declarations] int
    remove_file_from_hierarchy(struct
    lttng_directory_handle *test_dir_handle,
    ^~~~~~~~~~~~~~~~~~~~~~~~~~

Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Change-Id: I060a89d88f2de8e12368496968708d273cb318f2
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Make fd_count function static in test_fd_tracker.c

Fixes:

      CC test_fd_tracker.o
    /home/smarchi/src/lttng-tools/tests/unit/test_fd_tracker.c:65:5:
    error: no previous declaration for ‘fd_count’
    [-Werror=missing-declarations] int fd_count(void) ^~~~~~~~

Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Change-Id: I02775d5d601211052b4cad323bc33623beabc8f9
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add declarations for exported functions in health_exit.c

Silences a bunch of -Wmissing-declarations warnings.

Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Change-Id: Ib8ca00c2f9eaeec1821a15c3978d988e58804367
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add declarations for exported functions in health_fail.c

Silences a bunch of -Wmissing-declarations warnings.

Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Change-Id: If909cb5552aa9a8c9602410cbc608dd57a152e9f
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Make functions in live_test.c static

Fixes:

      CC live_test.o
    /home/smarchi/src/lttng-tools/tests/regression/tools/live/live_test.c:154:5:
    error: no previous declaration for ‘establish_connection’
    [-Werror=missing-declarations] int establish_connection(void)
    ^~~~~~~~~~~~~~~~~~~~
    /home/smarchi/src/lttng-tools/tests/regression/tools/live/live_test.c:198:5:
    error: no previous declaration for ‘list_sessions’
    [-Werror=missing-declarations] int
    list_sessions(uint64_t *session_id) ^~~~~~~~~~~~~
    /home/smarchi/src/lttng-tools/tests/regression/tools/live/live_test.c:245:5:
    error: no previous declaration for ‘create_viewer_session’
    [-Werror=missing-declarations] int create_viewer_session(void)
    ^~~~~~~~~~~~~~~~~~~~~
    /home/smarchi/src/lttng-tools/tests/regression/tools/live/live_test.c:283:5:
    error: no previous declaration for ‘attach_session’
    [-Werror=missing-declarations] int attach_session(uint64_t id)
    ^~~~~~~~~~~~~~
    /home/smarchi/src/lttng-tools/tests/regression/tools/live/live_test.c:372:5:
    error: no previous declaration for ‘get_metadata’
    [-Werror=missing-declarations] int get_metadata(void) ^~~~~~~~~~~~
    /home/smarchi/src/lttng-tools/tests/regression/tools/live/live_test.c:466:5:
    error: no previous declaration for ‘get_next_index’
    [-Werror=missing-declarations] int get_next_index(void)
    ^~~~~~~~~~~~~~
    /home/smarchi/src/lttng-tools/tests/regression/tools/live/live_test.c:631:5:
    error: no previous declaration for ‘detach_viewer_session’
    [-Werror=missing-declarations] int detach_viewer_session(uint64_t
    id) ^~~~~~~~~~~~~~~~~~~~~

Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Change-Id: I7dc82076439e1bccd7bc253d084291f6281f6887
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add declarations for exported functions in consumer_testpoints.c

Silences some -Wmissing-declarations warnings.

Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Change-Id: Icb6b79ea5ad4a076a6ae03c61b9f0691d45f3c1c
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Make parse_arguments static in base_client.c

Fixes:

      CC base_client.o
    /home/smarchi/src/lttng-tools/tests/regression/tools/notification/base_client.c:60:5:
    error: no previous declaration for ‘parse_arguments’
    [-Werror=missing-declarations] int parse_arguments(char **argv) {
    ^~~~~~~~~~~~~~~

Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Change-Id: I4e431009d6e174eaadd82d206f9bedde9efdd30b
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix all -Wmissing-declarations warning instances

This fixes all the remaining -Wmissing-declarations warning occurences.
The changes either:

- Make functions static
- Remove unused functions
- Add declarations for functions that are meant to be exported in a
  shared object to override some other function (e.g.
  lttng_ust_clock_plugin_init).  There isn't really a better place for
  these declarations.

Change-Id: If08855b75bf44dfdcfbdd654c272474ad8ebef39
Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: fd-tracker: mark symbols as hidden

The fd-tracker is part of libcommon and, as such, its symbols must be
marked as hidden since it is linked into liblttng-ctl.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I007d950c0e3f7e059ba372c4d20b096c3069febb

Fix: liblttng-ctl: hide new tracker config symbols

Session configuration constants are supposed to remain internal.
Some symbols were errneously exported in previous releases, but
we mark new ones as "hidden".

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: Iae51c7e479ba9f9e377bb426f35f9e3a73c2d449

configure: add --enable-Werror

If one wants to build with -Werror, it's not possible to simply
configure with -Werror in the CFLAGS.  This makes a bunch of configure
checks fail, which would have otherwise passed.

This patch adds an --enable-Werror option to configure, which has the
effect of adding -Werror to AM_CFLAGS.  It therefore ends up in the
CFLAGS used to build the project, but it doesn't interfere with the
configure checks.

Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Change-Id: I18c33125c717305aac8f1d8a19fee7e065d70c31
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

configure: use AX_APPEND_COMPILE_FLAGS to detect supported warning flags

I would eventually like to enable some additional warnings by default
when building lttng-tools.  However, some warnings are
compiler-specific or are not present in older versions of some compilers
we need to support.  We can therefore not add them unconditionally to
CFLAGS.

This patch uses the AX_APPEND_COMPILE_FLAGS macro to address that.  This
macro tests each individual flag we pass it with the current compiler.
If it finds that the flag is supported (the compiler exits with status 0
when compiling a file with that flag), it appends it to the given
variable, WARN_CFLAGS in our case).  WARN_CFLAGS is then added to
AM_CFLAGS.

With time, we'll be able to throw any warning flag in there that we
think is useful, even if just available in a recent version of one
compiler.

Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Change-Id: Id2ae4b4e8882af788c835ce89a979544531370e9
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: notification.c: remove extra space

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Change-Id: Iee893ab9d4aeb59e335af83b068adf716ac869f8
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: remove unused libhealthexit code

libhealthexit is no longer used since 89c453960. Remove the now-unused
code of that test library. A comment referencing that library is also
adjusted.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I1d088e9032a3b2e1a9f7956e81c7cb662473a7fd

Fix: remove broken health monitoring test `test_thread_exit`

The `test_thread_exit` test uses the testpoint() infrastructure to
simulate daemon threads dying at "random" times by calling
pthread_exit() and checks that dead threads are properly reported by
the health check API.

The health check system is implemented as a list of structures that
live in the TLS of the various monitored threads. When the health
thread receives a health-check request, it iterates on this list and
reports the current health status of the threads to the client.

When a thread is stalled, this works fine; the health TLS has not been
updated in some time and that can be observed by the client. However,
for a 'spurious' thread exit, this is a bit more fragile.

Essentially, the test assumes that the thread will not have
unregistered its health TLS, but that it will remain valid until the
thread is joined.

Unfortunately, this behaviour relies on the fact that threads were not
joined until late in the tear down of the session daemon in the
past. This is no longer the case for all threads.

To provide an example of a test sequence that results in a
crash:
  - the test kills the client thread,
  - the session daemon received SIGTERM,
  - the client thread is joined immediately,
  - the next thread to shutdown (gracefully) unregisters itself from
    the health monitoring sybsystem and, in doing so, accesses an
    invalid element while removing itself from the health_app list,
    causing a crash.

As a side note, I could not find a definitive answer on the lifetime
of TLS variables. Are they guaranteed to be accessible until a
pthread_join() or is it undefined to access them after a thread has
returned? I'm guessing this is a very internal implementation detail
of the pthread implementation being used and that we should not rely
on that behaviour.

There are multiple ways we could fix this problem, such as using
heap-allocated structures and ref-counting them to share ownership
with the health thread, using pthread_atexit() to clean-up, etc.

However, the LTTng daemons never pthread_exit() their threads to
handle errors (or even call it directly); handling this behaviour is
of dubious interest at the moment.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I16ec70eb683832fe5f2810885c995988b6194690

Fix: directory-handle: use of free'd handle on fstat() error

On an error to fstat a directory handle, a directory handle is
released and is still initialized as if the error had not occurred.

Return NULL early from lttng_directory_handle_create_from_dirfd()
to prevent those erroneous accesses.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: Ia2a3bb1cfe8c90d3f7f87a68286a9b8524694d3c

Fix: relayd: use of relay_session ref count before initialization

The relay_session's reference count is used before it is initialized
on multiple code paths of session_create(). The initialization of the
reference count, mutexes, and intrusive data structure nodes are
initialized earlier to make their use safe in the event of an error.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I1be53ad88a3e783b85b4c568527df1a75ce58d3a

Fix: relayd: unchecked return value when opening relay socket

fd_tracker_open_unsuspendable_fd may fail because the underlying
socket() call fails or there may be too many open file descriptors at
the time of the call. In both cases, these errors must be logged and
handled.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I8b8c4fcc9de08746a91778b58c74b2118e98667b

tests: append to AM_CFLAGS instead of overriding it

The Makefiles modified by this patch currently override the AM_CFLAGS
value, which means that anything put in AM_CFLAGS by configure (for
example, the warning flags) is lost.

I believe the intention is to add some flags to CFLAGS, so modify them
such that they append instead of override.

notification/Makefile.am overrides AM_LDFLAGS with nothing.  It feels
like it was not the intention to actually clear that variable, but
rather that it is just the by-product of a copy paste.  If it was really
the intention to clear the value of AM_LDFLAGS, there would have been a
comment to explain it, right?

Signed-off-by: Simon Marchi <simon.marchi@efficios.com>
Change-Id: I4ef926d9135b16200e5f17d09461506a5e955068
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: gen-ust-nevents: use options instead of arguments

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Change-Id: I59c648c650304e12b30bf8a3eaedaf9727c48700
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Cleanup: test_exclusion: more detailed output

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Change-Id: I97baaf30385b644766f2e825d8884ea75770b330
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Tests: `test_exclusion` passing for the wrong reason

Issue
=====
The following commit added `-i` and `-w` flags to the test app arguments
of the `test_exclusion` tests:
  commit 6c4a91d639747f260ab46decebc50998ef063712
  Author: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
  Date:   Mon Aug 26 14:22:06 2019 -0400

      tests: gen-ust-events: use options instead of arguments

      Remove argument dependency and ease usage of features individually.

The `gen-ust-nevents` was not modified to support those flags. I suspect this
mistake was caused by the name similarity of the `gen-ust-nevents` and the
`gen-ust-events` test applications.

We ended up calling the following command:
  ./gen-ust-nevents -i 100 -w -1

When called with such arguments the `gen-ust-nevents` parsed the first
argument (`-i`) using `atoi()` which retuned 0. This was interpreted as
the number of iterations requested by the user so the app immediately
exited without generating any events.

So, the test was not seeing any of the excluded events in the trace
which was then considered as a successful result but no events were ever
excluded because none were generated in the first place.

Solution
========
Remove the use of `-i` and `-w` flags.

I also added a `dry_run` test to confirm that we do indeed get events
when exclusions are not used to prevent this error from happening in the
future.

Notes
=====
- I changed the wildcard used in the enable-event command so to only
  enable events from the testapp and not the `lttng_ust_statedump:` events
  as those are generated even if we didnt' ask for them.

- I add a stderr redirection to `/dev/null` in the trace reading
  pipeline because we now end up with traces with no events. This has
  changed because we now only enable events from the application (see
  previous note).

- In a future commit, I will change the `gen-ust-nevents` application to
  take those `-i` and `-w` flags.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Change-Id: Id37dcd59a18b3401d97439bce1191a8c5cac87d5
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: trace-chunk: useless assignment to 'ret'

'ret' is not used to report error in
lttng_trace_chunk_rename_path_no_lock(); status is used. Therefore,
this assignment is useless.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I1804d616a24c41d3956b021f90bb77d0e6efef1a

Fix: lttng: track-untrack: error assigned to wrong variable

CMD_ERROR is assigned to 'ret' rather than 'command_ret' when
an unknown left-over argument is passed to the track/untrack
command.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I5889a934d9859d0499eb26555658bf15af73f927

Fix: relayd: live: unchecked poll set creation return value

The fd_tracker_util_poll_create function can fail because of fd
exhaustion or because the underlying epoll call fails.

In both cases, report and handle the error.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: Ie79fdc011afda43395ac883c6648f983118cfddb

Fix: relayd: live: unchecked return value when opening relay socket

fd_tracker_open_unsuspendable_fd may fail because the underlying
socket() call fails or there may be too many open file descriptors at
the time of the call. In both cases, these errors must be logged and
handled.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I3205896a5e8c83ceba02005a2b73f9466d26427c

Fix: relayd: unchecked poll set creation return value

The fd_tracker_util_poll_create function can fail because of fd
exhaustion or because the underlying epoll call fails.

In both cases, report and handle the error.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: Id1e35d43442e74dd6784a9a4e235576a5bf135e2

Fix: lttng: uninitialized pointer free'd when no sessiond is present

The error path of get_schedules assumes that schedules_comm is !NULL,
which is not the case currently.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I16e2d9d45cd3df9cfa80214abe03bcc782fa1f11

Fix: tracker: inclusion of internal header in public header

common/macros.h is an internal header which should not be used
publicly. It doesn't seem used anyhow so it is simply removed here.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: Ie385dba2dc03506db2e075c15969836303470b56

Tests: Fix: `wait_on_file()` returns too early

Issue
=====
With the current implementation, when calling the `wait_on_file()`
function with the `file_exist` parameter set to false the function will
return even if the target file exists.

In a scenario where we enter the loop and the targer file exist, the
first call to `stat()` will return 0 and will not enter any of the `if`
and break from the loop directly.

Solution
========
If the file exists, only break from the loop if it's the desired exit
condition.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Change-Id: Ia3e9c41a2a515815d3ff931d8f7c1c14a52b31ae
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Tests: utils.sh: fix unbound variable

When loading `utils.sh`, we test the `LTTNG_TEST_TEARDOWN_TIMEOUT` and
define it to a default value if it's not defined already.

When running bash test scripts with the `-u` option to error out when
encountering unset variables it prints an error and exit

This commit uses a trick found here:
https://stackoverflow.com/questions/3601515/how-to-check-if-a-variable-is-set-in-bash

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Change-Id: Id24937f974ffd1ab3250296499da9360f97d393d
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Fix typo: registerd -> registered

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Change-Id: I74f6956d732c41168dfdfa101c6fcad0af6ecebe
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Cleanup: remove unused bash variable

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Change-Id: Ie200a8b5044e2199526aac4a138f0c2e5ee5b0d8
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Typo: 'toogle' -> 'toggle'

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Change-Id: Id3c9a1942b21a66b626512e8378c517d48949582
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: lttng-sessiond: control reaches end of non-void function warning

Fixes the following error when building with GCC 7.4.0 with the
following CFLAGS: "-g -fsanitize=address":

  tracker.c: In function ‘lttng_tracker_id_lookup_string’:
  tracker.c:405:1: error: control reaches end of non-void function [-Werror=return-type]
   }
   ^

At first glance, this seems like a false positive. I don't see how we
can reach the end of the function without passing by a return statement.

Even considering that, removing the `break` statement makes sense
because it's superfluous.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Change-Id: I0b596d328bc38183f21bd3a6f8419a63207953f3
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: possible null dereference

lttng_inode_create can return null.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: I70be9ebabe097d10fb3ee5f46f0b299c02d08ce0
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: string might be uninitialized

lttng_dynamic_appen_buffer accepts NULL buf as long as len is zero when
called. This is the case for when the id is a numeric value.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: Ia1a121dcc2448378a4ad873ac159a89221e4c637
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: force the use of our _FORTIFY_SOURCE definition

Some toolset (ubuntu) already defined the _FORTIFY_SOURCE.

This removes the warning we see if this is the case. Unset the variable and
reset it.

The warning:

make[3]: Entering directory '/home/joraj/lttng/master/lttng-tools/tests/regression/kernel'
  CC       select_poll_epoll-select_poll_epoll.o
<command-line>: warning: "_FORTIFY_SOURCE" redefined
<built-in>: note: this is the location of the previous definition
  CCLD     select_poll_epoll

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: I2fa0482afa8941705a992f62a2e63657ea9e2b87
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Update version to v2.12.0-rc1

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I6845405f0d59270181ab67f27f8acab5d83633d7

Tests: fix: test_relayd_working_directory fails as user

A formating issue introduced by 15da468cd causes the temporary
directory of the a test to be initialized incorrectly, causing it to
fail when it is not skipped (executed as a non-root user).

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: Idd09f27fa2ce0f5991056ab52bc1718080122151

Fix: sessiond: snapshot errors don't clear session's trace chunk

The snapshot record command is implemented by creating and setting
a new trace chunk on the target session, capturing the snapshot, and
closing the session's trace chunk once it is complete.

On some error paths, the session's newly created trace chunk is not
cleared. This means that the session is seen to have a
'current_trace_chunk' on the next attempt to record a snapshot; an
unexpected condition for which an assert() exists.

This results in the following crash:
lttng-sessiond: /home/smarchi/src/lttng-tools/src/bin/lttng-sessiond/cmd.c:4685: snapshot_record: Assertion `!session->current_trace_chunk' failed.

Ensure that the session's current trace chunk is closed and cleared
when an error occurs during the command's execution.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I4f78e3c324bee873349ed5b4d8e189a000458a07

Fix: sessiond: bounded snapshot record fails when no streams exist

Attempting to record a snapshot with a `--max-size` fails when no
streams exist. For instance, attempting to record a snapshot for a
user space session when no applications are running will fail with the
following output:

Error: Invalid snapshot size. Cannot fit at least one packet per stream.
Error: Snapshot max size is invalid

The function get_session_nb_packets_per_stream() computes an
approximation of the number of packets to capture to honor the maximal
size specified. However, at the end, it doesn't distinguish between
'0' meaning that "no packets can be captured" (no streams exist) and
'0' meaning that "the max size is too small to accomodate one packet".

Those two cases can be distinguished by checking if the 'size_left' is
still the 'max_size', meaning that not even the size of one packet was
substracted from 'max_size'.

Reported-by: Simon Marchi <simark@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I5caef9ce926bbc7143a90667749ffaed972590c1

Tests: fix: test_relayd_working_directory fails as root

From the original bug report:

This test succeeds as user, but fails as root:
not ok 23 - Warning about missing write permission is present

    Failed test 'Warning about missing write permission is present'
    in tools/working-directory/test_relayd_working_directory:test_relayd_debug_permission() at line 182.

The warning does not trigger because root always has access.

Skip this test since the permission check will succeed and the relay
daemon won't produce the expected error message.

Reported-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I4eb29958aaca78405e1fdd2392d73472af0d5912

Fix: trace-chunk: dereference after NULL check

old_path is used directly even though it is checked for NULL. The
situation highlighted by Coverity does not appear to be possible given
the current use of the API. However, it should still be checked to
catch future errors (or current bugs).

1412200 Dereference after null check

Either the check against null is unnecessary, or there may be a null
pointer dereference.

In lttng_trace_chunk_rename_path_no_lock: Pointer is checked against
null but then dereferenced anyway (CWE-476)

Reported-by: Coverity Scan
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I991231cc636eaed98cb84eec08a5072748ff9ef4

Clean-up: mi: remove logically dead code

1412199 Logically dead code

The indicated dead code may have performed some action; that action
will never occur.

In mi_lttng_id_target: Code can never be reached because of a logical
contradiction (CWE-561)

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I8279cd1e6ab5bc86bd4ea4ca8ac721ad1e31e02b

Fix: trace-chunk: dereference after null check of old_path

1412200 Dereference after null check

Either the check against null is unnecessary, or there may be a null
pointer dereference.

In lttng_trace_chunk_rename_path_no_lock: Pointer is checked against
null but then dereferenced anyway (CWE-476)

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I33088fecc62141bd6092a7ab8c0a8c29a36347e8

Clean-up: unchecked return value

The return value of lttng_dynamic_buffer_set_size() is ignored in
lttng_dynamic_array_clear(). It is okay as
lttng_dynamic_buffer_set_size(..., 0) can't fail. However, it
results in a Coverity Scan warning.

1412201 Unchecked return value

If the function returns an error value, the error value may be
mistaken for a normal value.

In lttng_dynamic_array_clear: Value returned from a function is not
checked for errors before being used (CWE-252)

Reported-by: Coverity Scan
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I1943e299e4cb5752711f2d25b0dd9a5c44a28a18

Fix: unchecked return value of cds_lfht_destroy()

1412202 Unchecked return value

If the function returns an error value, the error value may be
mistaken for a normal value.

In lttng_tracker_list_destroy: Value returned from a function is not
checked for errors before being used (CWE-252)

Reported-by: Coverity Scan
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I85c994440bc2cd5df0545fd1364dab462f98bc1c

Fix: relayd: return from function without unlocking session lock

Some error paths in relay_close_trace_chunk() skip the unlock
of the relay_session's lock.

412203 Missing unlock

May result in deadlock if there is another attempt to acquire the
lock.

In relay_close_trace_chunk: Missing a release of a lock on a
path (CWE-667)

Reported-by: Coverity Scan
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I43187959abf00e761f7a255f4af7cd53e0c451fb

Clean-up: consumerd: remove unreachable code

1412204 Logically dead code

The indicated dead code may have performed some action; that action
will never occur.

In consumer_clear_unmonitored_channel: Code can never be reached
because of a logical contradiction (CWE-561)

Reported-by: Coverity Scan
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I116ba5127bf30d3cee1e5f002d7360bc4bc22098

Clean-up: trace-chunk: remove unreachable code

`path` can never be NULL in this code path; it is unnecessary to check
it.

There may be a null pointer dereference, or else the comparison
against null is unnecessary.

In lttng_trace_chunk_rename_path_no_lock: All paths that lead to this
null pointer comparison already dereference the pointer
earlier (CWE-476).

Reported-by: Coverity Scan
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Change-Id: I4d850b0b8686300268d85f577ae5f14a96d66348