Add extended info to liblttng-ctl's struct lttng_channel

The change has been tested to maintain lttng_channel's size
on x86, x86-64 and ARM32. The alignment rules of these
architectures should cover all cases.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Reuse constant string instead of duplicate literal

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: simplify computation of string position

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Optimization: lttng UI uses sprintf instead of strcpy

The LTTng client currently uses sprintf with format strings
that don't contain a format specifier.

Users have reported concerns for the scalability and performance
of the LTTng UI because of this overkill use of sprintf instead
of strcpy which, presumably, could be inlined by the compiler.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: OOT build fails because of missing include path

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Consider lttng mi namespace in test_load

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

MI: Remove boolean "exclusion" element

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

MI: add <exclusions> (event exclusion names)

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

CLI: show event exclusion names

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add new LTTNG_ERR_OVERFLOW error code

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add lttng_event_get_exclusion_name*() to liblttng-ctl

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Consider lttng mi namespace in test_mi

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

MI: Implement event context schema change

MI: Add application context type to schema

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

MI: add schemaVersion attribute to command schema

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

MI: set machine interface XSD target namespace

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add schema information to XML MI output

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: libxml2 may return 0 because of buffering

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Bump LTTng MI schema to 3.0

The machine interface schema now allows LTTng to express filter
expressions.

It also introduces "any" clauses at various points to allow the
extension of the schema in a non-breaking way.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

MI: add <filter_expression> (event filter expression)

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Transfer UST exclusion names from sessiond to client

The variable-length extended info has this layout as of this
patch:

    [extended info header][filter string][excl name 1][excl name 2]...

The extended info header contains the length of the subsequent
filter string, including its terminal null character, as well as
the number of exclusion names, each one having a fixed length of
LTTNG_SYMBOL_NAME_LEN bytes, including their terminal null character.

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: return negative error code in list_lttng_ust_global_events()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

CLI: show agent event filter string

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

CLI: show event filter string

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add lttng_event_get_filter_string() to liblttng-ctl

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Transfer filter strings from sessiond to client

Previously, the payload of the list events was a simple array of
struct lttng_event.

    [event1][event2][event3]

This patch adds an array of variable-length extended infos at the
end of the event array:

    [event1][event2][event3][extinfo1][extinfo2][extinfo3]

When received on the client side, the event structures are
edited so that their new extended.ptr member points to their
respective extended infos:

    [event1][event2][event3][extinfo1][extinfo2][extinfo3]
        \       \       \      ^         ^         ^
         \       \       \____/_________/_________/
          \       \__________/_________/
           \________________/

This allows this whole block to be freed at once, so as to
keep existing applications linked with liblttng-ctl working
without being recompiled.

The variable-length extended info has this layout for the moment:

    [extended info header][filter string]

The extended info header contains the length of the subsequent
filter string, including its terminal null character.

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Refactor setup_lttng_msg() to include cmd header

setup_lttng_msg_full() is now responsible for memcpy()ing
the command header and payload to the complete message.

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add offset comments to struct lttng_event

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add command header to sessiond->client response msg

Response messages from the session daemon have this layout
for the moment:

    [message header] (fixed size)
    [payload data]   (0 to n bytes)

This patch makes them have this layout:

    [message header] (fixed size)
    [command header] (0 to n bytes)
    [payload data]   (0 to n bytes)

The command header allows a command to specify additional
informations about its payload.

The header size is set to 0 for all commands for the moment.

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add internal extended channel structure

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Metadata for instance_id and packet_seq_num

The UST tracer now stores a stream_instance_id in each packet to allow
the viewers to match streams split in multiple trace files.

Also, a sequence_number is stored in each packet so it is possible to
compute the number of lost packets in overwrite mode.

This is a locked-step with the corresponding lttng-ust commits.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add a HT to lookup sessions by id

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Explicitly stop the session on lttng destroy

This changes the default behavior of the "destroy" command and API: now
it implicitely stops the tracing and waits for the data to be available
on disk or the network. Like the "stop" command and API, a no_wait
option is available to skip the waiting and destroy directly the
session.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: per-pid ust buffers flush race with application unregister

If an application exits between the moment we create the ust app session
(shadow copy) and the moment we send channels to the application,
sending channels may fail. If the application unregisters between the
the end of ust app session creation and the destroy that follows (ust
app session lock is released in between), we may see is_sent being
false.

This assert was initially there in the early days of lttng-tools when
the application was responsible for doing the flush. Now that the flush
has been moved to the consumer daemon, we don't need this assertion
anymore.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix warning when building Python bindings

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add CONTRIBUTING.md

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Revert "Python bindings: remove duplicate structure definitions"

This reverts commit dcac8046802214aa852b7b3b36bc78a793cb6295.

Docs: clarify cross-version tracer compatibility

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Remove unnecessary newline

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Use ipv6 loopback adress in test_uri

Some older version of Debian/Ubuntu and maybe other distros won't set
localhost to point on ::1 in the system hosts file and use instead a
custom name like ip6-localhost or ipv6-locahost which is not
standardized across distros.

To work around this, use the ipv6 loopback address instead of localhost.

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Python bindings: remove duplicate structure definitions

Use the structure definitions as defined in the public lttng
headers and not local copies which will go unmaintained.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: test: handle env variables undefined

Prevent errors on non-existent key fetching e.g LD_PRELOAD & LD_LIBRARY_PATH.
Uses .get() with a default empty string to prevent this case.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: report already enabled event error to client

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: add comment to cmd_add_context()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: application context leak when enabling context

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: string leak when processing of client message fails

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: missing return code initialization on error

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: unchecked return value in _lttng_variant_statedump()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Possible use-after-free in create_ctx_type()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: filter tests now accept "." in identifiers

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Don't notify agent of non-app context addition

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Create agent on channel creation

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Introduce application contexts to session configuration schema

Session configuration schema version is bumped to 2.8.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix typos in error descriptions

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Enable agent application contexts if filter has such dependencies

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Compare provider and context names in trace_ust_match_context

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Allow $app.provider:ctxname in filter, enum, variant identifiers

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add variant type support to ust registry and metadata

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Notify java agent of enabled application contexts

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add app context support to lttng client

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Enforce const-correctness in UNIX socket wrappers

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove superflous domain check in context_ust_add

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove superflous domain check in add_uctx_to_channel

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Use lttng_domain_type enum instead of bare integer

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add application context support to lttng-ctl lttng_add_context

Forward the provider and context names of app contexts to the
session daemon.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup comments in lttng-ctl.c

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests fix: source utils.sh before using conf_proc_count

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: use configured processor count in getcpu override tests

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: use configured processor count in snapshot tests

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Introduce conf_proc_count()

Tests are using the nproc utility which return the number of
_available_ CPUs. The distinction between online, available and
configured CPUs is subtle, but important.

The number of "online" CPUs can change at runtime as CPUs are
hot-plugged. This could happen during a test and result in
unexpected results.

The number of "configured" CPUs includes any CPU which may be
offline at the time.

The number of "available" CPUs, which is what is returned by the
nproc utility, may differ from both "online" and "configured"
counts. This is the case in containers which are assigned to a
subset of configured CPUs.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: print a more precise test description in snapshot tests

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

clock offset: print negative value in metadata for lttng-ust metadata

In the upcoming 2.8, we can print the negative value of clock offset in
the metadata, and expect users to update their viewers to correct any
bug that could prevent them from handling those negative values.

This happens only in cases where the system sets CLOCK_REALTIME to 0
after boot, thus leading to a negative clock offset value between
realtime and monotonic clocks.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: handle negative clock offset for lttng-ust metadata

In the unlikely situation where a system sets its hardware clock
(CLOCK_REALTIME) to 0 (Epoch) after boot, the difference

  monotonic - realtime

becomes negative.

Fixup this situation by returning a 0 offset in this case.

This ensures that trace viewer implementations (e.g. babeltrace) which
currently cannot handle the negative offset (known bug) still work with
the generated traces.

This patch should be applied to master and stable-2.7.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: test: append to LD_LIBRARY_PATH

The overwriting of LD_LIBRARY_PATH can cause failure of tests when lttng-ust is
not installed in the default path and location is passed via LD_LIBRARY_PATH.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: test: use load_path instead of $1

$1 is used for tap condition checking not the load path.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Bump lttng-ust protocol version to 6.1

The introduction of enumerations in lttng-ust forces the protocol
to accomodate a new command which will only be used by lttng-ust
2.8+.

This is not a breaking change in the protocol since lttng-tools
does not _need_ to receive this command for normal operation, nor
does it issue it.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add CTF enum type support for UST registry

Derived from initial implementation by:
Geneviève Bastien <gbastien+lttng@versatic.net>

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup __lttng_print macro indentation

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: do not print error and bug messages when quiet (-q) is present

Conform to the lttng man page

fixes #988

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: test_ust-dl requires bash

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: test script requires bash

The test baddr statedump script requires bash. It fails to run on
systems where /bin/sh is not an alias to bash.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: missing $ in SED variable

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: fix make targets using objcopy

Add detection for objcopy using AC_CHECK_TOOL and use dedicated make
targets for each file.

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Build: fallback to AC_CHECK_LIBS when looking for popt and uuid

Not all distro ship .pc so fallback to basic libs searching if necessary.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Reviewed-by: Samuel Martin <s.martin49@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

tests/unit: fix object files' location

Referring to *.o files under a .libs/ directory is not recommended
because this belongs to libtool's innards.

Indeed, libtool decides to place the *.o files in an
implementation-specific location:
- PIC *.o files go into a .libs/ directory;
- non-PIC *.o files are generated along side to their corresponding
  source files.

Using PIC objects to build executable is legit, thought it may
introduce some minor overhead at runtime.

However, hard-coding these PIC object files in the Makefile.am to build
executables breaks the build in case of static only build.

In this case, no PIC object files is generated, so the linker will not
found some of the needed objects files.

Changing these dependencies' path fixes the static build, keeping the
shared one ok, though the non-PIC object files are now always built.

Fixes #983.

Fix tested on git master and v2.6 with no change needed.

Signed-off-by: Samuel Martin <s.martin49@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

configure.ac: fix static build

For static build, some extra LDFLAGS may be needed.

Using PKG_CHECK_MODULES instead of AC_CHECK_LIB for librairy detection
allows to get all these flags. Then, the LIBS variable can be extended
with everything that is needed.

So, use PKG_CHECK_MODULES for popt and uuid detection; which both depend
on libintl.

This changes fixes build failures triggered with Buildroot, e.g.:
  http://autobuild.buildroot.net/results/0f1/0f1e015a0c5a5ac2beeb5011d31a1e0058a32a0d/build-end.log

Signed-off-by: Samuel Martin <s.martin49@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: fix tracefile count when page_size is > 4k

Set the tracefile size according to the platform page_size and increase
the number of iterations to properly test the rotation.

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

configure.ac: use $withval with AC_ARG_WITH

Fixes #980

Signed-off-by: Samuel Martin <s.martin49@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: close indexes when rotating the trace files in mmap mode

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: close indexes when rotating the trace files in splice mode

The consumer needs to close the old index file when doing a file
rotation before opening a new one.
The relay does not have this problem (handled with refcounts).

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clarify error message on "add context" failure

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Don't spam session daemon logs on invalid UST context

Fixes #976

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: getcpu_override: use event delay when launching with wrapper

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: getcpu: no events shall be emitted at the same timestamp

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Switch test apps to use usleep_safe()

usleep_safe() ensures that usleep honors its timing guarantees
(which it, according to the man pages, does not strictly enforce).

Some tests need to make ensure no events are emitted at the same
timestamp since Babeltrace does not define an ordering which can
be relied upon in such a case.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Add a test utils library

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: redefinition of _GNU_SOURCE

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: only call usleep if the test in configured to wait

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Test: add UST dl helper test

Signed-off-by: Antoine Busque <abusque@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Test: add UST baddr statedump test

Signed-off-by: Antoine Busque <abusque@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>