Tests: Convert the UST low-throughput test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the UST high-throughput test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the UST before-after test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Rename the UST tests runners to test_<test name>

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the ust_global_event_wildcard test to an equivalent shell test

The test_event_wildcard shell script test has the same behavior has the
ust_global_event_wildcard test. In addition, the test output format has been
converted to TAP.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the ust_global_event_basic test to an equivalent shell test

The test_event_basic shell script test has the same behavior has the
ust_global_event_basic test. In addition, the test output format has been
converted to TAP.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Add runner script for kernel regression tests

Also remove the old runner scripts.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the kernel_event_basic test to an equivalent shell test

The test_event_basic shell script test has the same behavior has the
kernel_event_basic test. In addition, the resulting trace produced
by the test is now verified for correctness. Finally, the test output
format has been converted to TAP.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the kernel_all_events_basic test to an equivalent shell test

The test_all_events shell script test has the same behavior has the
kernel_all_events_basic test. In addition, the resulting trace produced
by the test is now verified for correctness. Finally, the test output
format has been converted to TAP.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Add runner script for unit tests

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the URI unit test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the UST data structures unit test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the kernel data structures unit test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert the session unit test output to TAP

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Convert functions in utils.sh to output in the TAP format

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Add the runner.sh tests runner utility

This script contains the run_tests function to ease the run of a testsuite.

Usage example:

source $TESTDIR/utils/runner.sh

tests=( some_test
        some_other_test )

opts=("$@")
run_tests tests[@] opts[@]

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Add TAP helpers in tests/utils/tap

tests/utils/tap/tap.{h,c}:
For use in C tests. You can link against libtap with the usual automake
mechanisms.

tests/utils/tap/tap.sh:
For use in shell scripts tests. Source the script
(e.g. source "tests/utils/tap/tap.sh") to use the relevants TAP functions.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Move unit tests to tests/unit

The regression/tools/{test_kernel_data_trace,test_sessions,test_ust_data_trace}.c
and regression/tools/streaming/unit_tests.c tests files are really unit tests.

In order to have a clear separation between unit tests and integration/system tests,
move them to their own folder.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Tests: Move tests to tests/regression

Also move the utils.sh and utils.h helper files under tests/utils.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Deprecate enable/disable-consumer

The concept of consumer should change to the fact that a user can
enable/disable outputs such as file or network for streaming. We
envision that multiple outputs can be attached to a channel in the
future.

We want to minimise the amount of puzzlement for users. Having an error
message from the consumer daemon when --no-consumer has been specified
can be considered puzzling.

This calls for "add output" semantic, so we can support this "tee"
use-case seemlessly. We plan on allowing add/del output while tracing is
active, which is not currently permitted by enable-consumer.

Everything enable-consumer does can be done by lttng create options
Therefore, it seems easier for development of upcoming features and for
the sake of simplicity of interfaces to deprecate the current
enable/disable consumer.

This applies for both to the lttng UI commands and API calls. The
documentation has been removed from the man page and the help of the
lttng command. So, it exists but is simply not documented.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Move LTTng-UST buffer ownership from application to consumer

Before this change, applications were performing allocation and teardown
of their buffers. Applications therefore had ownership of the buffers.
The shm and wait fd were passed from applications, though sessiond, to
consumerd through unix sockets.

This change moves ownership of buffers from applications to consumer.
This will allow sharing buffers across many processes in a near future.
It will also facilitate implementation of periodical timers on the
consumer side, now that it has ownership of channels and buffers (also
called streams). This imply that file descriptors on shm and wakeup end
of the pipe are now passed from the consumerd to sessiond, then to
applications, through unix sockets. Then, applications "map" channel and
streams into their own memory space. Channel control structure is
actually a copy for each application, while streams are a shared memory
map (shm) between consumerd and all applications that write into it, and
have a wake up file descriptor on the application side.

Dependency on libuuid has been added to lttng-tools, since the UUID is
needed at channel and buffer allocation.

Note that this is only for UST so the kernel buffers are still created
in the session daemon then passed to the consumer. There is basically no
change for the kernel other than adapting to the new communication data
structure.

This commit needs to be used along with commit named "Move LTTng-UST
buffer ownership from application to consumer" in lttng-ust.

Reviewed-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Conditionally disable test requiring shared libs

When building lttng-tools with shared library support explicitly
disabled (e.g.: ./configure --disable-shared), libtool fail with a fatal
error:

Making all in demo
  CC       tp.lo
  CC       tp2.lo
  CC       tp3.lo
  CC       demo.o
  CCLD     demo
  CCLD     liblttng-ust-provider-ust-tests-demo.la
  CCLD     liblttng-ust-provider-ust-tests-demo3.la
libtool: link: can not build a shared library
libtool: link: See the libtool documentation for more information.
libtool: link: Fatal configuration error.

The build should not fail because some tests require explicit shared
library support, instead they should be skipped. This can be
accomplished by detecting builds with no shared libs support with the
NO_SHARED Automake variable.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove consumer health poll update on startup

With the TLS health state, the consumer thread has to register in order
to be validated during the health check so the poll update work around
is no longer needed andi replaced with a simple code update just after
the health registration of the thread.

This has been reported after the TLS feature ticket #411 has been
implemented.

Fixes #428

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: change health poll update to entry/exit calls

It adds a better semantic to the code flow. Furthermore, the current
counter of the health state is now validated raising an assert() if the
value is unexepected.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: support duplicate health type

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Clarify README about the GNU gold linker requirement

Signed-off-by: David Goulet <dgoulet@efficios.com>

Cleanup: use LTTNG_PACKED in lttng-kernel.h

Signed-off-by: David Goulet <dgoulet@efficios.com>

Cleanup: use LTTNG_HIDDEN in src/common

Signed-off-by: David Goulet <dgoulet@efficios.com>

Cleanup: use LTTNG_HIDDEN in lttng-ctl filter lib

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add LTTNG_HIDDEN macro for hidden attribute

Signed-off-by: David Goulet <dgoulet@efficios.com>

Symbol prefixing: in-house copy of hash table

Will ensure we don't clash with the real version in liburcu cds. It's
especially important since those symbols are exported globally by
liblttng-ctl.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing unistd.h for fdatasync in compat-fcntl.c

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Namespace lttngctl filter flex/bison symbols

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Cleanup unused health state reference

The old health state structure are not used anymore since we now rely on
TLS health state.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: health subsystem issues with shared code

TLS memory is not used for health state of each thread. This commit
probably fixes bug428 as well.

The health_init/exit are renamed to health_register/unregister.

Fixes #411

Signed-off-by: David Goulet <dgoulet@efficios.com>

Use utils mkdir recursive in runas.c

Signed-off-by: David Goulet <dgoulet@efficios.com>

relayd: Create output directory in main()

If specified with -o, --output, the directory is created in the main()
so if an error occurs the execution is stopped.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Use utils family function in relayd

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add mkdir_recursive function to libcommon utils

Fix: poll max size should be checked during resize

This was detected using cppcheck:

[src/common/compat/compat-poll.c:204]: (error) Uninitialized variable:
new_size

So, the check was always made over an uninitialized variable on the
stack. Fortunately, worst case scenario, new_size is set to the maximum
allowed or kept untouched.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong variable type for read() return value

Signed-off-by: David Goulet <dgoulet@efficios.com>

cppcheck: don't check NULL pointer before freeing them

Signed-off-by: David Goulet <dgoulet@efficios.com>

cppcheck: Simplify empty string test without using strlen()

Signed-off-by: David Goulet <dgoulet@efficios.com>

Use default value for metadata file name

Signed-off-by: David Goulet <dgoulet@efficios.com>

Remove UST abi cast on channel attribute

This clears out a TODO in the code.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing rcu lock for UST lookup

Trace UST channel and event were not protected by RCU lock when calling
their find function. Furthermore, the event lookup was not protected at
all during and after the lookup.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Remove unused variables in trace-kernel/ust.c

In trace-kernel.c, the path is not used anymore on channel creation.
Same goes for trace-ust.c for session creation, the domain pointer is
not used.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Remove unused kernel session variable in event.c

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add safety assert() in session daemon

Note here that a test has been removed which tested the NULL parameter
of the session_destroy() call where now we assert if there is a NULL
pointer. It's a code flow error if a NULL pointer gets to this call so
the test becomes irrelevant.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing rcu read side lock

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add an allocation function for ust stream

Signed-off-by: David Goulet <dgoulet@efficios.com>

Rename ltt_ust_stream to ust_app_stream

This data structure only have sense on the application registry side.
The tracing registry does not directly handle stream anymore. This patch
also move it from trace-ust.h to ust-app.h.

No code was changed nor any behaviors altered.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Move stream name creation to fct create_ust_stream

This is for two reasons. First, to avoid for the caller to create the
stream name. Second, on snprintf() error, we can't continue so put back
the reserved FDs and return an error.

We do that name creation now *before* the stream is created on the
application side so we don't have to release that object on error.

Only after that the stream is added to the list and the channel count
updated. This makes more sense and better handle the error path. Also,
this patch removes a XXX: statement which are always not cool on
production software :).

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: UST returns -LTTNG_UST_ERR_NOENT and not -ENOENT

On stream creation, it's an UST error code and not the errno one.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing fd put on stream creation error

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add a create_ust_stream function in ust-app.c

This helps by having a single callsite for ustctl_create_stream and
removes the need for the caller to handle FD reservation. On success,
the function sets the returned handle to the given stream.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: change function name for better meaning

Mostly to avoid confusion in the future for patches, reviews and
contributors.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: improve error handling for UST stream creation

Signed-off-by: David Goulet <dgoulet@efficios.com>

Extras: Fixed inconsistent use of space and tabs in lttng.i.in.

Python 3 does not allow mixing spaces and tabs. This eliminates the
error encountered when importing the lttng module in a Python 3
interpreter.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Extras: Redefined PyInt_AsSsize_T to PyLong_AsSsize_t.

Python 3 merges PyInt and PyLong types. This fixes the undefined symbol
error encountered when using the bindings with Python 3.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Extras: Fix the undefined reference to md build error.

Removed scripted modifications to lttng_wrap.c during Python binding
generation.

This adds back the "md" warning of SWIG. See the upstream bug still
waiting to merged upstream: sourceforge.net/p/swig/bugs/1246/

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Extras: Added lttng.pyc to make clean

This is for Python bindings.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Refactor ust-app create session

This function was basically a mess for returned values. A valid pointer
that could be a created or already existing session, NULL on error or -1
on disconnect error...

Now, it returns 0 on success or a negative errno code. It populates the
ust app session pointer parameter given by the caller and sets to 1, if
available, the is_created parameter if we did in fact create a new
session.

The motivation behind that was to be able to know if the session was
created or not so we could do a cleanup aftwerwards if any error on the
code path requires wipping the session object. This patch uses that for
the case of a create channel failure just after the session creation. It
now wipes the session if it was created.

Furthermore, this has been error prone in the past by forgetting to
handle the -1 error value being in a pointer variable.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove duplicate set ust event filter

Signed-off-by: David Goulet <dgoulet@efficios.com>

Make sync_file_range() usage optional

Under uClibc, sync_file_range() is not available under all
architectures, so we fall back to fdatasync() in this case.

Signed-off-by: Thomas Petazzoni <thomas.petazzoni@free-electrons.com>
Signed-off-by: Samuel Martin <s.martin49@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Destroy created kernel channel on enable all error

If we had to create a channel for an enable all tracepoint call (-a -k)
and the enable fails, destroy the created kernel channel.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add internal kernel channel destroy function

The internal representation of a kernel channel in the session daemon
now has a session pointer that points to the associated session. This is
needed so when we destroy a channel, we can update the channel count of
the session if available.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add pidfile creation for lttng-sessiond

This also adds a pidfile function to common/utils.c so it could be used
by the all binaries needing this feature.

Fixes #276

Signed-off-by: David Goulet <dgoulet@efficios.com>

Extras: fix checkpatch.pl to use 4 spaces for a tab

Signed-off-by: David Goulet <dgoulet@efficios.com>

Extras: Add a checkpatch git pre-commit hook

This commit add the checkpatch-hook script that can be installed in git
hooks folder in order to detect style issue before commiting any staged
changes.

The .checkpatch.conf file contains the appropriate options conforming to
the coding style used in the lttng-tools tree.

Also included in this commit is an install script to automatically
install the hook in the git local repo.

To override the pre-commit hook check, one can use the
`git commit --no-verify` command.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Extras: Change TYPE of braces around single statement

Change the TYPE of the "braces {} are not necessary for single statement
blocks" warning from BRACES to BRACES_SINGLE_STMT in order to correctly
ignore this particular warning and continue to warn for other BRACES
warnings.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Extras: Add the checkpatch coding style script

Taken from the Linux Kernel tree in scripts/checkpatch.pl.

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: update next_net_seq_num after sending header

Increment the sequence number after we are sure that the relayd has
received correctly the data header. If an error occurs when sending the
header, the data won't be extracted from the buffers thus keeping this
sequence number untouched.

Furthermore, after sending the header, if the relayd dies, this value
won't matter much and if there is an error on the stream when reading
the trace data, the stream will be deleted thus closed on the relayd
making this value useless.

It's important to note that this sequence number is updated on the
relayd side if the full expected data packet was received. So,
incrementing the value after the transmission of the header is not
changing anything in terms of value coherency. The point is to have a
semantic of when read and used successfully (transmission to relayd),
let's update it.

In that code flow, the stream's lock is acquired so no need to
read/update it atomically. I've also added a comments to better
understand the purpose of this variable and how to use it.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong loop continuation in metadata thread

The validation of the endpoint status can change the metadata hash table
meaning stream(s) can be removed from it and the poll set. After that,
continuing the for loop was making the thread use possible invalid file
descriptor that were not in the hash table anymore trigerring the lookup
assert of the node just after the for loop.

The very important part here is that when the metadata ht changes, we
MUST go back to the poll wait() to synchronize the subset of fd we are
looking at.

Reported-by: Jesus Garcia <jesus.garcia@ericsson.com>
Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: lttng create session memleaks

The uri_parse() function call was leaking copy(ies) of lttng_uri
structure.

Fixes #420

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove unused session id map

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong session id used on relayd lookup

The relayd session id might not be unique with multiple relayd so the
lookup could choose the wrong relayd for the given sessiond session id.

Fixes #419

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't do custom lookup to relayd stream ht

Use the function made for stream lookup for all lookup calling site. The
function had to move up so to be visible.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add pkg-config for liblttng-ctl

Signed-off-by: Yannick Brosseau <yannick.brosseau@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add kernel modules loading for new probes

New probes introduced by commit b87700e318c27267890cbd6fb5e50b687279131b
in lttng-modules.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Andrew Gabbasov <andrew_gabbasov@mentor.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing UST abi header for make dist

Reported-by: Samuel Martin <smartin@aldebaran-robotics.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing rcu read side lock/unlock

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to v2.1.0

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: lttng create URI parsing and check

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: missing scripts for make dist

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add disable-event to man page and clarify enable-event

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: update to latest UST abi

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: bad check of accept() return value

Also fix a missing ret = -1 assignment. Although, the chances are
unlikely to hit a positive ret value that does not match the structure
size, better safe than sorry.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: missing mutex lock if relayd was not created

Also add missing ret = -1 assignment on error in error path when adding
a relayd socket in the consumer.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: return error if sendmsg fails on relayd

Also, remove a FIXME that was refering to something that disapeared
(data_size).

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: variable usage for data pending and add comments

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: print ret value on ust_app start/stop error

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: compare write() return value to size

Now also check if the ret value of a write() operation is not equal to
the given size.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: handle orderly shutdown from transport layer

Print a debug statement if a shutdown is detected or else an error. The
transport layer will print the perror in case of an error.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: change perror to debug statement

Most of the changes here remove a double PERROR which is done by the
transport layer. So we notify in the debug message to understand where
the transport error was.

Also, don't print an error if the relayd is not found. This is possible
if the relayd dies so an error here is useless to the common user but
useful as a debug statement.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't print EPIPE error which can happen

Anytime a relayd is killed, writing on a closed fd is totally possible
so the PERROR of an EPIPE error is useless as an error but we do print
it as a dbg message now.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: handle shutdown on recv reply in relayd

Print a meaningful error when the recvmsg for the reply gets an orderly
shutdown or an error.

Return a negative value each time since this means that we have to stop
everything for that socket and clean up.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Off by one in seq num for data pending command

Like the close stream command, the next sequence number of the stream
needs to be used minus 1 for the data pending or else we are off by one
on the relayd during the check since 4 data packets for instance means a
prev_seq value of 4 but a last_next_seq_num of 5 hence creating an off
by one for the data pending check.

Furthermore, the check was actually wrong on the relayd side. Having a
previous sequence number lower than the last one seen does NOT mean that
the data is not pending so the check needed was actually equal or
greater.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong check on session started on stop command

This is problematic for application that lives longer than the tracing
session so the make check unfortunately did not catch this problem since
we either kill the applications before the stop or wait for them to die.

I will quote a colleague of mine on IRC after discovering this:
14:14 < cbab> moar tests!

:)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: for librelayd, fix negative reply ret code

Trying to negate a uint32_t is kind of difficult so set ret to -1 and
print the actuall host byte order ret code as an error.

Signed-off-by: David Goulet <dgoulet@efficios.com>