Fix: lttng UI failed to report error 19

Fixes #437

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: validate expanded path NULL ptr in relayd

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add missing files for make dist

Fixes #480

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add optional Perl dependency requirement to README

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: remove unused run script

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add missing buffers-uid folder in test Makefile

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Do not exit when a failure occurs in test_buffers_uid

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Cleanup tests runner that are no longer required

Test runners have been superseeded by testlists and the prove utility.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Use Perl prove as the testsuite runner

Currently the regression and unit testsuites are runned via a custom
runner script. By using the Perl prove utility, we can run the
testsuites and also gain additionnal features such as: parallel jobs,
separate testlists, etc.

This commit modify the make check target to run Perl prove as the
testsuite runner.

Testlist:

tests/unit_tests      : unit tests.
tests/fast_regression : a fast regression testsuite.
tests/long_regression : a long regression testsuite (includes slow tests such
                        as test_low_throughput and others).
tests/root_regression : a testsuite for tests that need root access
        (mostly tests using lttng-modules and bandwith limits).

Running a testsuite:

$ cd lttng-tools/tests
$ ./run.sh <testsuite>

One can also run tests manually using prove:

$ prove --exec '' path/to/test

  OR

$ prove --exec '' - < testlist

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Fix first line of output to follow TAP guidelines

From the Test::Harness::TAP documentation [1]:

The plan tells how many tests will be run, or how many tests have
run.  It's a check that the test file hasn't stopped prematurely.
It must appear once, whether at the beginning or end of the output.

The TAP plan *must* be the first line of output of any tests. Currently,
most of the tests output their description and then the TAP plan. This
can cause issues while parsing the test output for "strict" TAP parser
such as the one used in the prove tool.

This commit ensure that the first line outputted by any tests is the TAP
plan.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Fix missing TAP output in overlap test

The start and stop tracing shell functions are currently redirected to
/dev/null. This has the unfortunate side-effect of silencing the TAP
output thus producing an incomplete test output.

This commit remove the /dev/null redirection of those commands.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Fix number of tests in thread stall test

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: change expected number of event for test uid

With UST commit d970f72ef97cd5f1e5e0152ce48a4c6b28eccfb2, enabling the
same events in two different channels make write them two times instead
of once.

This commit changes the number of expected events in one test for per
UID buffers.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: handle error if metadata fails to be created

Reported-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Allow enable-channel to work with metadata channel

This makes the enable-channel command to support setting the metadata
channel attributes. Now, with the lttng UI and API, the metadata
attributes can be set.

$ lttng enable-channel metadata -u ...

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add with-sessiond-bin configure option

I also cleaned up the little check_sessiond function. The check using
access(2) was only done for the command line option, but I think it is a
good idea to do it wherever the path comes from.

Closes #441

Signed-off-by: Simon Marchi <simon.marchi@polymtl.ca>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Use after free on spawn_sessiond error path in check_sessiond

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Memory leak when zmalloc fail on kernel channel allocation

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Memory leaks when calling get_cmdline_by_pid

Callers of get_cmdline_by_pid must free(3) the returned string.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Memory leaks on unknown hashtable type error handling

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Memory leaks on error paths when exporting consumerd libdir in env

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Memory leaks on error paths in config_read_session_name

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Memory leak on error paths of relay_add_stream

On error paths the memory allocated for stream is never freed.

Also, fix undefined behavior on asprintf alloc failure. According to
asprintf(3), the content of the pointer passed to it is undefined if an
alloc failure occurs, so we could end up freeing a pointer in an
undefined state. Force its value to NULL.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong header path when compiling without UST support

Signed-off-by: David Goulet <dgoulet@efficios.com>

Support per UID buffers

This is a rather large commit. It adds the support for per UID buffers
for the user space tracer.

The --buffers-uid option is added to the lttng enable-channel command
which will set the session to use per UID buffers. So, all other channel
in that session MUST be set with the same buffer type or else an error
will be returned. For instance, here is an invalid use case:

$ lttng create
$ lttng enable-channel -u --buffers-uid chan1
$ lttng enable-channel -u chan2

The default is per PID (--buffers-pid). With no buffer type option, the
per PID is used for the UST tracer and global buffers for the kernel
being the only supported type for it (--buffers-global).

The tracing directory path are also changed to support this. For per UID
buffers, the path is now:

~/lttng-traces/ust/uid/1000/64-bit/*

For per PID buffers:

~/lttng-traces/<session_name>-<date>-<time>/ust/pid/ \
<app-name>-<pid>-<date>-<time>/

So basically, for UID, traces are stored per UID/ABI and for PID is
simply stored with the app name and pid. The kernel traces are untouched
and are still in kernel/.

Tests are also added for per UID buffers.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Move ust channel registry inside session registry

This is more logical with the way we do locking where a channel can not
exist without a session so accessing a channel implies the session lock.

Also, this patch makes the session registry a pointer that we allocate
and free on destroy.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: function definition and declaration mismatch

Fixes #476

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove uri switch test from cbab merge commit

Also add a file to .gitignore.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Merge remote-tracking branch 'cbab-github/tests-cleanup' into cbab

Conflicts:
tests/regression/tools/streaming/test_high_throughput_limits
tests/unit/test_kernel_data.c
tests/unit/test_ust_data.c

Fix: mark generated python bindings files as nodist

make dist would fail if ./configure had not been invoked with
the --enable-python-bindings switch.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: change default channel values in unit test

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: default read timer values

Kernel read timer value should be 200ms (200000us), not 200us.

UST default read timer value should be 0 (use write() system call from
applications).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Implement channel fd monitoring thread for UST

This new thread uses a new hash table containing channels and monitors
their wait_fd. On hang up, the channel streams are closed but *not*
deleted so the teardown process of channel and streams are untouched.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add channel wakeup fd to monitor close

Add channel wakeup fd, so consumer can keep its handle on the stream
wakeup_fd (for periodic timer flush), and yet still discover that an
application has closed a channel or exited.

Requires to be updated in locked-step with lttng-ust
"Add channel wakeup fd to monitor close"

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove enable consumer from test

Signed-off-by: David Goulet <dgoulet@efficios.com>

Move metadata creation into lttng-sessiond and lttng-consumed

The metadata is completely generated in the session daemon and pushed to
the consumer which writes the full string to a ustctl channel object. On
each event/channel notification from the tracer, the metadata is
generated on the spot and kept in the UST registry of the session
daemon.

On stop and destroy command, the metadata is pushed to the consumer. On
application unregistration as well, the metadata is handled.

Needs to be use in locked-step with LTTng-UST:
"Move metadata creation into lttng-sessiond and lttng-consumed"

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Move UST registry into sessiond and implement notifiers

Notify now comes from the UST tracer to register event in a new registry
in the session daemon storing UST channel and events. This registry is
used to send back event and channel IDs to the tracer and the session
UUID. It will also be used later on to generate metadata which will
completely remove metadata generation from the application.

This introduces a new thread in the session daemon being the thread
managing application notification using a new socket (notify socket).
This thread is in ust-thread.c/.h and spawned at startup.

Needs to be use in locked-step with LTTng-UST commit:
"Move UST registry into sessiond and implement notifiers"

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: Add runner script for tests

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Add runner script for regression testsuite

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Add runner script for tools regression tests

Also remove old the old runner scripts.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the tools streaming tests output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the tools health tests output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the tools filtering tests output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Rename the tools tests runners to test_<test name>

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Add runner script for UST regression tests

Also remove the old runners scripts.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the UST overlap test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the UST nprocesses test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the UST multi-session test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the UST low-throughput test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the UST high-throughput test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the UST before-after test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Rename the UST tests runners to test_<test name>

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the ust_global_event_wildcard test to an equivalent shell test

The test_event_wildcard shell script test has the same behavior has the
ust_global_event_wildcard test. In addition, the test output format has been
converted to TAP.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the ust_global_event_basic test to an equivalent shell test

The test_event_basic shell script test has the same behavior has the
ust_global_event_basic test. In addition, the test output format has been
converted to TAP.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Add runner script for kernel regression tests

Also remove the old runner scripts.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the kernel_event_basic test to an equivalent shell test

The test_event_basic shell script test has the same behavior has the
kernel_event_basic test. In addition, the resulting trace produced
by the test is now verified for correctness. Finally, the test output
format has been converted to TAP.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the kernel_all_events_basic test to an equivalent shell test

The test_all_events shell script test has the same behavior has the
kernel_all_events_basic test. In addition, the resulting trace produced
by the test is now verified for correctness. Finally, the test output
format has been converted to TAP.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Add runner script for unit tests

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the URI unit test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the UST data structures unit test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the kernel data structures unit test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the session unit test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert functions in utils.sh to output in the TAP format

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Add the runner.sh tests runner utility

This script contains the run_tests function to ease the run of a testsuite.

Usage example:

source $TESTDIR/utils/runner.sh

tests=( some_test
        some_other_test )

opts=("$@")
run_tests tests[@] opts[@]

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Add TAP helpers in tests/utils/tap

tests/utils/tap/tap.{h,c}:
For use in C tests. You can link against libtap with the usual automake
mechanisms.

tests/utils/tap/tap.sh:
For use in shell scripts tests. Source the script
(e.g. source "tests/utils/tap/tap.sh") to use the relevants TAP functions.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Move unit tests to tests/unit

The regression/tools/{test_kernel_data_trace,test_sessions,test_ust_data_trace}.c
and regression/tools/streaming/unit_tests.c tests files are really unit tests.

In order to have a clear separation between unit tests and integration/system tests,
move them to their own folder.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Move tests to tests/regression

Also move the utils.sh and utils.h helper files under tests/utils.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Deprecate enable/disable-consumer

The concept of consumer should change to the fact that a user can
enable/disable outputs such as file or network for streaming. We
envision that multiple outputs can be attached to a channel in the
future.

We want to minimise the amount of puzzlement for users. Having an error
message from the consumer daemon when --no-consumer has been specified
can be considered puzzling.

This calls for "add output" semantic, so we can support this "tee"
use-case seemlessly. We plan on allowing add/del output while tracing is
active, which is not currently permitted by enable-consumer.

Everything enable-consumer does can be done by lttng create options
Therefore, it seems easier for development of upcoming features and for
the sake of simplicity of interfaces to deprecate the current
enable/disable consumer.

This applies for both to the lttng UI commands and API calls. The
documentation has been removed from the man page and the help of the
lttng command. So, it exists but is simply not documented.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Move LTTng-UST buffer ownership from application to consumer

Before this change, applications were performing allocation and teardown
of their buffers. Applications therefore had ownership of the buffers.
The shm and wait fd were passed from applications, though sessiond, to
consumerd through unix sockets.

This change moves ownership of buffers from applications to consumer.
This will allow sharing buffers across many processes in a near future.
It will also facilitate implementation of periodical timers on the
consumer side, now that it has ownership of channels and buffers (also
called streams). This imply that file descriptors on shm and wakeup end
of the pipe are now passed from the consumerd to sessiond, then to
applications, through unix sockets. Then, applications "map" channel and
streams into their own memory space. Channel control structure is
actually a copy for each application, while streams are a shared memory
map (shm) between consumerd and all applications that write into it, and
have a wake up file descriptor on the application side.

Dependency on libuuid has been added to lttng-tools, since the UUID is
needed at channel and buffer allocation.

Note that this is only for UST so the kernel buffers are still created
in the session daemon then passed to the consumer. There is basically no
change for the kernel other than adapting to the new communication data
structure.

This commit needs to be used along with commit named "Move LTTng-UST
buffer ownership from application to consumer" in lttng-ust.

Reviewed-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Conditionally disable test requiring shared libs

When building lttng-tools with shared library support explicitly
disabled (e.g.: ./configure --disable-shared), libtool fail with a fatal
error:

Making all in demo
  CC       tp.lo
  CC       tp2.lo
  CC       tp3.lo
  CC       demo.o
  CCLD     demo
  CCLD     liblttng-ust-provider-ust-tests-demo.la
  CCLD     liblttng-ust-provider-ust-tests-demo3.la
libtool: link: can not build a shared library
libtool: link: See the libtool documentation for more information.
libtool: link: Fatal configuration error.

The build should not fail because some tests require explicit shared
library support, instead they should be skipped. This can be
accomplished by detecting builds with no shared libs support with the
NO_SHARED Automake variable.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove consumer health poll update on startup

With the TLS health state, the consumer thread has to register in order
to be validated during the health check so the poll update work around
is no longer needed andi replaced with a simple code update just after
the health registration of the thread.

This has been reported after the TLS feature ticket #411 has been
implemented.

Fixes #428

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: change health poll update to entry/exit calls

It adds a better semantic to the code flow. Furthermore, the current
counter of the health state is now validated raising an assert() if the
value is unexepected.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: support duplicate health type

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Clarify README about the GNU gold linker requirement

Signed-off-by: David Goulet <dgoulet@efficios.com>

Cleanup: use LTTNG_PACKED in lttng-kernel.h

Signed-off-by: David Goulet <dgoulet@efficios.com>

Cleanup: use LTTNG_HIDDEN in src/common

Signed-off-by: David Goulet <dgoulet@efficios.com>

Cleanup: use LTTNG_HIDDEN in lttng-ctl filter lib

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add LTTNG_HIDDEN macro for hidden attribute

Signed-off-by: David Goulet <dgoulet@efficios.com>

Symbol prefixing: in-house copy of hash table

Will ensure we don't clash with the real version in liburcu cds. It's
especially important since those symbols are exported globally by
liblttng-ctl.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing unistd.h for fdatasync in compat-fcntl.c

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Namespace lttngctl filter flex/bison symbols

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Cleanup unused health state reference

The old health state structure are not used anymore since we now rely on
TLS health state.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: health subsystem issues with shared code

TLS memory is not used for health state of each thread. This commit
probably fixes bug428 as well.

The health_init/exit are renamed to health_register/unregister.

Fixes #411

Signed-off-by: David Goulet <dgoulet@efficios.com>

Use utils mkdir recursive in runas.c

Signed-off-by: David Goulet <dgoulet@efficios.com>

relayd: Create output directory in main()

If specified with -o, --output, the directory is created in the main()
so if an error occurs the execution is stopped.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Use utils family function in relayd

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add mkdir_recursive function to libcommon utils

Fix: poll max size should be checked during resize

This was detected using cppcheck:

[src/common/compat/compat-poll.c:204]: (error) Uninitialized variable:
new_size

So, the check was always made over an uninitialized variable on the
stack. Fortunately, worst case scenario, new_size is set to the maximum
allowed or kept untouched.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong variable type for read() return value

Signed-off-by: David Goulet <dgoulet@efficios.com>

cppcheck: don't check NULL pointer before freeing them

Signed-off-by: David Goulet <dgoulet@efficios.com>

cppcheck: Simplify empty string test without using strlen()

Signed-off-by: David Goulet <dgoulet@efficios.com>

Use default value for metadata file name

Signed-off-by: David Goulet <dgoulet@efficios.com>

Remove UST abi cast on channel attribute

This clears out a TODO in the code.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing rcu lock for UST lookup

Trace UST channel and event were not protected by RCU lock when calling
their find function. Furthermore, the event lookup was not protected at
all during and after the lookup.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Remove unused variables in trace-kernel/ust.c

In trace-kernel.c, the path is not used anymore on channel creation.
Same goes for trace-ust.c for session creation, the domain pointer is
not used.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Remove unused kernel session variable in event.c

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add safety assert() in session daemon

Note here that a test has been removed which tested the NULL parameter
of the session_destroy() call where now we assert if there is a NULL
pointer. It's a code flow error if a NULL pointer gets to this call so
the test becomes irrelevant.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing rcu read side lock

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add an allocation function for ust stream

Signed-off-by: David Goulet <dgoulet@efficios.com>

Rename ltt_ust_stream to ust_app_stream

This data structure only have sense on the application registry side.
The tracing registry does not directly handle stream anymore. This patch
also move it from trace-ust.h to ust-app.h.

No code was changed nor any behaviors altered.

Signed-off-by: David Goulet <dgoulet@efficios.com>