Fix: protect the channel's metadata stream using the metadata cache lock

The consumer_thread_data_poll and consumer_thread_metadata_poll
both access the channel's metadata stream.

During a session destruction, consumer_thread_metadata_poll will
destroy all metadata streams. However, the consumer_thread_data_poll
may still invoke a consumer_metadata_cache_write() triggered
by a "ready" subbuffer. Hence, the metadata stream must be protected
from this action by the metadata cache lock.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: double unlock of metadata mutex on error

lttng_ustconsumer_sync_metadata must leave the metadata lock
in its initial state. Otherwise an error may result in a
double unlock in the caller.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: free previous instance of url (alloc_url) on default live url assignation

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: add element length check in lttng_index_file_open

Handle cases where the index file header would contain a corrupted
value.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Assert that index_file does not exist before setting a new one

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: relayd vs consumerd compatibility

relay and consumerd 2.7 and 2.8 are expected to negociate compatibility
with the lowest common minor version.

If a consumer daemon 2.8 interacts with a relayd 2.7, it needs to send
the index fields for ctf index 1.0. Same if a relayd 2.8 interacts with
a consumer daemon 2.7: relayd should expect ctf index 1.0 fields, and
generate a ctf index 1.0 index file layout.

If both relayd and consumerd versions are 2.8+, then we can send the ctf
index 1.1 fields over the protocol, and store them in the index files.

Whenever the relayd live viewer server opens and reads an index file,
it needs to use the file's header to figure out the index "element"
size.

[ Should be applied to master, stable-2.9, stable-2.8. ]

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

tests: Implement tests for lttng-ust LTTNG_UST_BLOCKING_RETRY_TIMEOUT

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
CC: "Carlos O'Donell" <carlos@redhat.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng-add-context(1): add missing man: prefix

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng-add-context(1): fix style

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng-snapshot(1): fix style

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng-metadata(1): fix style

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

doc/man: put short option's argument too

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove `metadata` command from various help resources

This command is now deprecated. Its own man page remains available
and warns the user that it's deprecated and suggests to look at
lttng-regenerate(1) instead.

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

List the `regenerate` command in various help resources

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng-load(1): fix synopsis and style

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: truncate the metadata file in shm-path

In the shm-path mode, the metadata will be backuped to a metadata
file, when run the lttng command "lttng metadata regenerate" to
resample the wall time following a major NTP correction, the metadata
file will not be truncated and regenerated.

Add the function clear_metadata_file() to truncate and regenerate the
metadata file.

Signed-off-by: Liguang Li <liguang.li@windriver.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Load: add message indication that a name override was carried out

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Load: expose overrides elements in mi

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: assign values to path, ctrl and data uris during configuration load

Since overrides can be partial (name only, etc.) always assign a base
value from the configuration being loaded then apply overrides.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Load: test that name override does not have side effects

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: remove invalid short option -U and move option descriptions

Reported-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: add missing refcount of loaded modules

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: only unload successfully loaded kernel modules

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: test cases now rely on explicit workloads

Run a process explicitly in the tracing session to generate the enabled events
rather than relying on the events generated by the lttng CLI.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

m4/pprint.m4: update with correct quoting

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

configure.ac: move warning to end of output for the end user

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

doc/man: only require asciidoc-attrs.conf when building the man pages

Situations:

* If you want to and can build the man pages:
  * If it's a tarball tree:
    * Make the man page destinations depend on asciidoc-attrs.conf.
      Since it's a generated file, its date is greater than the
      date of the prebuilt man pages, therefore the man pages are
      built again, which is a good thing because they include the
      default values of this build.
  * If it's a Git tree:
    * Always build the man pages anyway (no prebuilt man pages here).
* If you want to, but cannot build the man pages:
  * If it's a tarball tree:
    * Make the man page destinations NOT depend on asciidoc-attrs.conf,
      because its recent date would ask said destinations to be rebuilt
      and this is not possible because we don't have the tools.

      However, warn the user at configure time that the prebuilt man
      pages will be installed, which means that they will contain the
      project's default values, not this build's default values.
  * If it's a Git tree:
    * Not valid: error at configure time as usual.

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Test fix: increase test count in plan of test_perf_raw

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Create a dedicated test suite for Perf

Introduce the perf_regression test suite that must be run manually to
check if the support for the Perf-related features are available on the
current machine. This test cannot be run automatically since there are
some platforms where it can fail (VMs, some SoCs, etc).

For now, the test only makes sure that we can trace events with perf
contexts enabled by raw ID in kernel and user-space. The test only works
if libpfm is installed on the system and fails if it is not installed.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: accommodate stricter mktemp implementations in tests

Busybox's mktemp command uses mkstemp(3) which requires the last six
characters of the template to be X's.  Extend the mktemp templates
used in the test scripts.

Signed-off-by: Nathan Lynch <nathan_lynch@mentor.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add version info to lttng-relayd help

lttng-relayd man pages states that the option
-V --version is available, but it it's missing in the code

Signed-off-by: Anders Wallin <wallinux@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: stop sessiond threads on health thread error

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: stop lttng-relayd threads on health thread error

The lttng-relayd health thread may fail to initialize for
a variety of reason (notably, a too long unix domain socket
address), which will cause it to never notify that it is
ready.

In such circumstances, the lttng-relayd command, in background or
daemonize mode, will never return as the daemon's "readyness"
will never be signaled.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: report an error if unix socket address is too long

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove unmaintained TODO file

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove outdated comment about run_as open being broken

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove run-as compat wrapper from internal code

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: save: leak of configuration file fd

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Update master version to 2.10.0-pre

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: warn when a loaded session can't be set as the default

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Warning fix: forward declare struct lttng_ust_calibrate

lttng-ust's ust-ctl.h still refers to struct lttng_ust_calibrate
which causes gcc to emit a "‘struct lttng_ust_calibrate’ is
declared inside a parameter list" warning.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng-enable-channel(1): remove redundant --discard from synopsis

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

test: load --override-name

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

load: introduce --override-name

The --override-name option allow users to override the name of the
session to be loaded using the command-line.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

man: lttng-load fix up

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: grammar fix in load.h

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng_ctl: add session_name to load override

Introduce the override of the session name during the loading of a session.

Can only be used when a session name to be loaded is provided.
Renaming of multiple session is ambiguous.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: test presence of override_attr before accessing its member

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

load: objects returned by getters do not need to be freed

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove lttng_load_session_attr_get_override_path_url

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: change order of set functions in load.h to match get

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove calibrate documentation

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove calibrate from liblttng-ctl

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove calibrate from lttng-sessiond

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove calibrate from Python bindings

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove calibrate from Bash completion script

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove calibrate tests in Python bindings

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove calibrate command from lttng CLI

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Build fix: remove load-42-stream.lttng from dist target

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Test: load --override-url

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add --override-url option to load command

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Apply the overrides attributes during configuration load

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: remove copy-pasted comment from save.c

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng-ctl: add override helper to load api

User can provide an url override that will be used during the loading of a
configuration file.

The url format is the same found at lttng-create(1).

This correspond to a --set-url operation on lttng-create.

Note: an url might be invalid for a trace configuration. The override will fail
during the session load (call to lttng_load_session) and simply cancel the
loading.

e.g Loading a live session with a file:// url override will fail.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Rename override to overwrite for config_load_session

This rename is to be consistent with the load API doc and interface.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: report truncation on snprintf

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: check for a session daemon before running load command

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: ignore SIGPIPE

Issuing fprintf() to stderr (thus write() to the standard error file
descriptor) within the SIGPIPE signal handler is bad: it can trigger
SIGPIPE repeatedly if the listening end has closed its end of the pipe.

Set the SIGPIPE action to SIG_IGN in relayd, sessiond, and consumerd.

This was affecting sessiond and relayd. The consumerd did not print
anything to stderr.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Use lttng api for the load command

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: use ssize_type for the return value of uri_parse_str_urls

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: grammar fixes in load.h

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: wrong api comments for load.h

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: do not overwrite ret if already set and session found

Errors were not propagated correctly otherwise.

e.g:
(No sessiond running)
lttng load --all
-> All sessions have been loaded successfully
lttng list show no sessions

With fix the same command output:
Error: No session daemon is available

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng-sessiond: auto-load lttng-probe-i2c module

Automatically load the lttng-probe-i2c kernel module, which was recently
added in lttng-modules, along with the other probe modules.

Signed-off-by: Simon Marchi <simon.marchi@ericsson.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Bump lttng-modules ABI minor version

Follow lttng-modules upstream.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: handle backward compatibility with lttng-modules 2.7

There is no major version bump between lttng-module 2.7 and 2.8 ABI.
Even though we do not guarantee compatibility, do a best effort to
maintain it when possible.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: remove unnecessary autoconf variable substitution

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: honor negative (unlimited) app socket timeout

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Build: Replace use of deprecated AM_PATH_XML2

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Test fix: set app and network socket timeouts to unlimited

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Test fix: test_fork can hang while waiting for child pids

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Test fix: test_daemon can hang while waiting for child pids

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Test fix: redirect python test subprocess output to /dev/null

Redirecting to subprocess.PIPE can deadlock when subprocess.wait()
is invoked.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Build fix: macOS Sierra provides clock_gettime

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: time redefinition warnings on macOS builds

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: remove unused variable user

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Remove fun from code base

It appears choosing the release names provides plenty of enjoyment to
LTTng developers, thus allowing us to remove those easter eggs.

Incidentally, it will allow me to demo the LTTng project without
carrying this <yellow>Welcome back Dr Tracing!</yellow> message each
time I issue a "lttng" command.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: remove in-place backup suffix argument provided to sed

GNU sed complains when an empty suffix argument is provided
as the in-place suffix.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: pass a valid length to accept() on unix domain sockets

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Log signals received by run_as worker

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Missing word in worker_sighandler() comment

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up snapshot command error reporting

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: RCU lock imbalance on error in cmd_snapshot_list_outputs()

The error path of cmd_snapshot_list_outputs() unlocks the
rcu_read_lock. However, this path can be taken without having
ever locked before.

Fixes #1044

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Use -M parameter instead of --manpath when invoking man(1)

Older versions of man (and the implementation used in FreeBSD) do
not support the long version of the --manpath/-M option. Use
'-M' in the interest of portability.

Fixes #1043

Signed-off-by: Ricardo Nabinger Sanchez <rnsanchez@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

OOT Build fix: reference the source directory's Python test app

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: pass NULL to config_load_session instead of an empty string

The public lttng_load_session wrapper uses empty strings (strings
starting with \0) to express "any" session_name and the default
session load paths.

However, this is not expected by config_load_session which uses
NULLs to express these values.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: don't copy test_python_logging explicitly

cp would fail silently in OOT builds when trying to copy
test_python_logging. This is no longer necessary as it is
generated on configure.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

OOT build fix: Missing include of src directory

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Accomodate BSD sed in version.h generation

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Port: Detect platforms where librt is required

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>