Fix: work-around glibc __nptl_setxid vs clone hang

hash table resize threads exit end up setting a "locked" state within
libc pthread, which deadlocks with seteuid/setegid called from the
cloned process in runas.c when runas() is called exactly when a resize
thread exits.

Temporarily fix this issue by adding a mutex cross this resize
operation, which holds mutual exclusion with runas() usage.

We should investigate whether we want to properly call exec() from the
runas.c clone child before touching any non-async-signal-safe libc call.
However, given that this change is more intrusive, let's first use this
mutex-based work-around.

Before this fix, running 1000 instances of "demo-trace 300" with
sessiond running as root, and:

lttng create
lttng enable-event -u -a
lttng start

would sometimes lead to consumerd hang with the following clone child
backtrace:

setxid_mark_thread (cmdp=<optimized out>, t=0x7f52dd47c700)
    at allocatestack.c:995
995 allocatestack.c: No such file or directory.
(gdb) bt full
    at allocatestack.c:995
        ch = <optimized out>
    at allocatestack.c:1088
        t = 0x80
        signalled = <optimized out>
        result = <optimized out>
        runp = 0x7f52dd47c9c0
    at ../sysdeps/unix/sysv/linux/setegid.c:44
        __p = 0xfffffffffffffe00
        __cmd = {syscall_no = 119, id = {-1, 1000, -1}, cntr = 0}
        result = <optimized out>
        data = 0x7f52e66e1930
        writelen = <optimized out>
        writeleft = <optimized out>
        index = <optimized out>
        sendret = {i = 0, c = "\000\000\000"}
        ret = <optimized out>
        __func__ = "child_run_as"
    at ../sysdeps/unix/sysv/linux/x86_64/clone.S:112
No locals.
No symbol table info available.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: consumer fd recv poll should be sensitive to POLLPRI too

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix consumer lttng_consumer_poll_socket poll revents check bug

Was causing the sessiond to fail to receive streams under heavy load,
because this test needs to be done with a mask rather than equality.
Testing equality was failing as soon as POLLPRI (or any other flag) was
set.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: increase consumer open files limit

Set ulimit of consumer when root so it can scales up to the session
daemon number of open files.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update README: document dep on modprobe for kernel tracing

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix tests: add missing session2 destroy

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: increase wait time for UST high-throughput test

On slower system, this test failed due to the time period the test does
for applications to at least start tracing.

Add a warning on stdout telling that this is an arbitrary time and might
fail on slower system.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wait for sessiond to stop in tests

Before returning from stop_sessiond bash function, we wait that the
sessiond daemon completely stopped. If it hungs up at that point, the
kill did not work and investigation can begin.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: tests: error handling labels are in the wrong order

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: remove unused return variable

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: kernel test scripts

Signed-off-by: David Goulet <dgoulet@efficios.com>

Don't report back error on syscalls fail for -a -k

lttng enable-event -a -k will not report an error anymmore if enabling
syscall events has failed. Please refer to the commitdiff for a detailed
comment on why this is done like so.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: destroy context hash table being NULL

Passing an event unknown loglevel type to the session daemon (for UST
domain) was triggering an error code path to destroy the context hash
table of the event which is not created once the error is hit.

Fix a segfault completely killing the session daemon.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add channel command in utils.sh of tests

Signed-off-by: David Goulet <dgoulet@efficios.com>

Improve UST tracing actions test

Test all possible lttng command for UST domain.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add wildcard test to UST

Rename test file and add two event wildcard type to the test.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: make lttng expand path for trace output opt

lttng create --output was passing the path string to the session daemon
and thus, for relative path like './mytraces', it was created in the
current directory of the session daemon.

Now lttng command line uses the realpath(3) of the --output string and
denies creation if multiple level of directory does not exist (Ex:
/tmp/foo/bar/chap, if foo/ does not exist, it is refused).

Directory creation still occurs on the session daemon side.

Reported-by: Ettore Del Negro <ettore@ettoredelnegro.me>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove tests from runall script

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: return value signedness

Also remove repeated include headers.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: man page environment variable name error

Reported-by: Ryan Kyser <Ryan.Kyser@jci.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: check return value on getenv USER

System with no environment variable USER, one of the easter egg caused a
segfault on certain embedded linux platforms.

Other getenv() of the project were audited to ensure that the return
value is checked.

Reported-by: Ryan Kyser <Ryan.Kyser@jci.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Remove useless test

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add before-after test

Test tracing before and after application execution.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Cleanup debug printf in test

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix tests when lttng-ust is disabled

(close #200)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add low-throughput test

Test during 20 minutes events at each minute, 10 minutes and 20 minutes.
It validates the event order with an incremental counter.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add high-throughput test

This tests high number of events being recorded with multiple concurrent
instrumented applications.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Improve tests and change tests/ directory layout

Add run-report.py and test_list.py files which are an extended test framework
providing memory and CPU sampling of the session daemon during the tests.

Tests are now divided on a per package basis. The kernel/ directory contains
integration tests for lttng-modules (kernel tracer). ust/ directory contains
tests for lttng-ust and tools/ directory has the unit tests of lttng-tools
itself which does not test tracer integration.

First patch aimed at improving test coverage of the lttng 2.0 toolchain and
provide the python framework for more detailled analysis.

Use make check to run them all or use run-report.py and select which tests to
run in test_list.py.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to 2.0.0 stable

ROCK ON!!!

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to v2.0.0-rc4

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add small detail to enable-channel man page

(close #192)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: warned of arbitrary time for ust-nprocesses test

(close #157)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix. add limitation to man page

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: minor changes to lttng.1

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add exit values to lttng.1 man page

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add delay before validating apps in test nproc

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: error handling in lttng enable-event

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: document structure init. to 0 in lttng.h

Document the fact that the structures should be initialized to zero in
lttng.h since there is no init function.

(close #135)

Signed-off-by: Raphaël Beamonte <raphael.beamonte@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: uninitialized variable

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Keep track of FD used for UST applications (v2)

Allow to keep 25% of file descriptors reserved for commands/kernel
tracing/internal communication within the sessiond by limiting
applications to 75% of the available file descriptors. This ensures
traced applications cannot cause a sessiond denial of service.

Changelog since v1:
- Add missing fd-limit.h

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: lttng view, error message and exit code

lttng view is a frontend command, when the viewer is not found in the
path, the error message should be human readable (no need for the
developper-oriented debug message).

Also the return code must indicate that something went wrong if the
viewer is not on the system.

(fix #144)

Signed-off-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Small fixes to lttng man pages (v2)

Signed-off-by: Yannick Brosseau <yannick.brosseau@gmail.com>

Merge branch 'master' of git://git.lttng.org/lttng-tools

Fix: handle EINTR for sendmsg syscall

(close #170)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: lttng UI exit value and error message

Change lttcomm error code starting value from 1000 to 10. This way, bash
can return the exact error code since 255 is the maximum.

Fix multiple warning, error and message output.

Some return code could still be not "standardize" but for stable it's
ok. Fixes can come later on.

(close #105)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: session lock use after free

The session lock is broken in that it does not handle teardown correctly
(use after free). Surround each usage by the session list lock for now
to fix this issue, and don't unlock the session lock after free. Since
each session lock usage is surrounded by session list lock, no other
thread will be left waiting on this lock when the session destroy is
performed.

This effectively renders useless the per-session lock. Leave it there
for now to minimize code change before 2.0 final.

This locking scheme will be revisited for lttng 2.1.

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix kernel_list_events memleaks

- The fscanf %m allocation was leaking the "event" (needs to be freed
  explicitly).
- The error handling of realloc should free the previous pointer.

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix debug message use uninitialized variable

Reported-by: Yannick Brosseau <yannick.brosseau@gmail.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: trace_ust_destroy_metadata should check for NULL pointer

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: various memleaks

Thanks to valgrind.

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: hash table allocation out of order on error

Signed-off-by: David Goulet <dgoulet@efficios.com>

fix: lttng_ht_destroy memleak

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update version to v2.0.0-rc3

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix missing headers for make dist

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: install lttng-consumerd in lib/lttng/libexec/

This program is not meant to be executed by end-users: it is spawned
only by the session daemon.

Closes #46

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: Redefine MAP_STACK to 0 if not defined by the architecture

This patch fixes build error on architectures (e.g., armel, armhf) that
do not define MAP_STACK.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix consumer CPU hotplug support

This is a quick fix to handle stream update on CPU hotplug. Please look
at #ref 168 for more information and explanation on the real fix.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix double PID registration race

Introduce a second hash table indexed by application socket which have
the exact same content as the hash table indexed by PID.

On unregister, we now use a direct lookup per socket instead of using
the key map between sock and PID. This prevents the PID-sock lookup race
when the unregister happens just after the replace and before the
close(fd).

We also use an add_replace call on application registration for the PID
hash table and kept the add_unique for the socket hash table.

(closes #7)

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Make libcompat independent not to confuse automake

Moving libcompat.la to the compat/ subdirectory and building it before
every other libs.

(closes #101 #153)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Clarify the license of lttng-ust-abi.h

That file's license was not recognized by licensecheck. I suggest using
the MIT/X11 text which is quite similar, and is already used elsewhere
in the project (in Babeltrace).

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Alexandre Montplaisir <alexandre.montplaisir@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

License header fixes

Most of the source files had the wrong FSF address. Also reworded the
first paragraph so that licensecheck's regexes actually pick up the
version number.

I made sure lttng.h and lttng-ctl.c advertise LGPL-2.1. Every other file
touched in this patch was and remains under GPL2, please make sure this
is correct. (Some files related to the RCU hashtable are under
LGPL-2.1+, but their headers were already clean).

(closes #155)

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Alexandre Montplaisir <alexandre.montplaisir@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix wrong return value on consumer socket creation

A failing call to mkdir() returned 0 instead of an error and was
creating a segfault later on since some memory was not initialized.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: test for UST invalid channel parameters at channel creation

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: recvmsg should handle EINTR

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix error.h non-static variables for liblttng-ctl

Linking with liblttng-ctl made the variable opt_quiet and opt_verbose
undefined if nonexistent in the linked application.

Rename the variables adding the prefix lttng_* and declaring them in
liblttng-ctl as global variable. The user can now control the verbosity
of the library by simply setting them.

Future work will mostly add an API call to control verbosity.

(closes #151)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix missing _GNU_SOURCE define

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: improve need root for kernel tracing error message

Reported-by: "Thibault, Daniel" <Daniel.Thibault@drdc-rddc.gc.ca>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix start/stop lttng message error

Add the already started/stopped error message and print a more
meaningful error on the command line.

(closes #47)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Merge branch 'master' of git://git.lttng.org/lttng-tools

Update version to v2.0.0-rc2

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: meaningful error message

Show a meaningful error message to users attempting to do kernel tracing
without root sessiond/tracing group creds.

Reported-by: "Brosseau, Yannick" <yannick.brosseau@gmail.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: UST consumer need to iterate on streams, just change their key

We need iteration to still be able to see the stream/channel, but not
lookups from sessiond query.

Ensure that teardown does not lookup by key.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: add missing rcu read lock across RCU HT iteration

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: kernel session closes fd 0 after create

This fix the make check test for kernel session handling. We ensure that
all FDs that are unset are set to -1.

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: sendmsg EPIPE should be quiet by default (expected)

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: thread_registration_apps should set its local sock to -1 when passing it

.. to another thread.

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: clock -> sock typo

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Merge branch 'master' of git://git.lttng.org/lttng-tools

Merge branch 'master' of git://git.lttng.org/lttng-tools

Fix: consumer race: should allow reuse of FD key

Issue was triggered by running "hello" UST test program in a loop while
tracing was active.

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Merge branch 'master' of git://git.lttng.org/lttng-tools

Fix: Use PERROR all across lttng-tools, never make it quiet

We never want to hide these errors, even in quiet mode. For those
"errors" that are expected and part of the normal operation (e.g. send
consumer channel: Socket operation on non-socket), we will have to
handle the return values and errno explicitly in the code.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: test all close return values in sessiond

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: All perror turned into PERROR to show file and line number

Needed to find error culprits.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: large audit of close() use in sessiond main.c

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: main.c client/apps sockets and kernel_trace_fd close(0)

thread_registration_apps and thread_manage_clients threads are closing
sock == 0 in error handling path, which is an error.

They also may use kernel_tracer_fd at 0 value if no kernel tracer has
been found. cleanup() can close this 0 socket too, which should never
happen.

Set all these sockets as "-1" when unset.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: incorrect close of fd 0 for syscall kernel event destroy

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: sessiond has incorrect missing 0 value in FD check

When run with daemon(), the 0 file descriptor can be re-used for
something else than stdout.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Merge branch 'master' into compat-freebsd

Fix: sessiond app listening: use posix-compliant poll flags

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumer printf type should match ssize_t (%zd)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: make ust consumer posix compliant for poll flags

poll flags can have both POLLHUP and POLLIN set, which is not expected
by the consumer. Do not depend on this implementation-specific behavior.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix security permission on lttng run directory

Add execute flag for other (r+x) on the lttng run directory at
/var/run/lttng so instrumented application *not* in the tracing group
can register to the global session daemon running as root.

(refs #141)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: sessiond app listening: use posix-compliant poll flags

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: consumer printf type should match ssize_t (%zd)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: make ust consumer posix compliant for poll flags

poll flags can have both POLLHUP and POLLIN set, which is not expected
by the consumer. Do not depend on this implementation-specific behavior.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: Display right loglevel_type in error message

Signed-off-by: Raphaël Beamonte <raphael.beamonte@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix documentation in lttng.h

Some functions in lttng.h are not aimed to be used only for kernel but
also for UST. This patch changes only the references made to 'kernel' to
make the documentation generic in the comments.

(closes #126)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: lttng UST and kernel consumer: fix ret vs errno mixup

- errno should be set to -ret (not the opposite!)
  The main effect is that the perror errors were meaningless.

- errno should always be compared with positive values.
  This was also causing consumerd error handling mistakes.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: restart consumerd and sessiond when interrupted in poll()

When poll() is interrupted (e.g. by a debugger attaching), it should
restart instead of exiting with an error.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>