Add lttng URI support and default network ports

This commit simply adds the lttng_uri API/ABI to the upstream branch.
Three functions are provided by common/uri.h and are usable by linking
with libcommon.

The default network ports are also added for network streaming for both
control and data stream.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Change the type of enabled in lttng_event to a signed int

Signed-off-by: Danny Serres <danny.serres@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Create kernel-consumer.c/.h and consumer.h

Contains function call to send data to the kernel consumer (for now
session and channel streams).

Nothing new, code has just been moved to simplify main.c and partition
portion of code for clearer and easier understanding.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: move memset in channel_set_attr after NULL check

Signed-off-by: Danny Serres <danny.serres@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Create unix.c/.h for UNIX socket communication

Simply split some content of sessiond-comm.c/.h to those two files for a
clearer code.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: close all file descriptors when executed as daemon

Both sessiond and consumerd support the option "-d" to run as daemon. In
some specific cases, e.g. when launched from dpkg installation scripts,
file descriptors 3, 4, 5 are left open and don't seem to have O_CLOEXEC
flag set, so the install script hangs because the sessiond still holds a
reference to them. daemon(3) only closes standard FD 0, 1, 2.

Fix this issue by closing all file descriptors after calling daemon(3).
Note: we make sure no file descriptor is opened before calling daemon(3)
by moving the init_thread_quit_pipe() call after the FD close.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update lttng-ust header copy for disabled UST compilation

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: ust_app_list_events should return -ENOSYS when no UST

Caller thinks that memory is allocated, and incorrectly dereferences a
NULL pointer if we return 0 rather than -ENOSYS.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

cleanup output indentation for field listing

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Implement event fields listing

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update lttng-ust-abi.h for event field listing

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix comments formating in conf.c

Comments should be indented with one space only.

Signed-off-by: Francis Giraldeau <francis.giraldeau@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Update documentation for destroy all option

Document the new option -a, --all of lttng destroy

Signed-off-by: Francis Giraldeau <francis.giraldeau@gmail.com>

Add destroy all session option

Destroy was limited to one session at a time. The option -a, --all destroys all
registered sessions at once.

* fixed braces

Signed-off-by: Francis Giraldeau <francis.giraldeau@gmail.com>

Improve delete of configuration

Adding functions to encapsulate the configuration delete. Test if path to
configuration exists before attempting to remove it.

* fixed braces and goto name

Signed-off-by: Francis Giraldeau <francis.giraldeau@gmail.com>

Fix: clang llvm warnings

Mostly fix unsigned expression and implicit conversion.

URCU still shows warnings but irrelevant.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add CodingStyle to tarball

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add coding style document

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

compat mman.h: add cygwin support

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

compat socket.h: add cygwin support

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

kernel-ctl: cygwin compatibility compile fix

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

poll compat wrapper: add cygwin support

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update fcntl cygwin support

cygwin has posix_fadvise

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

cygwin support: only freebsd needs to typedef loff_t

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

fix: add missing parenthesis

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

compat fcntl.h: add cygwin support

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Move futex.c/.h to libcommon

This is done so the future lttng-relayd and other possible binaries
could use it.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to 2.0.1 stable

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: test script for kernel module validation

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: report error to client on consumerd error

Adds a consumer daemon state flag that allows us to know the state of
the consumer during client command processing.

Please refer to the comment in lttng-sessiond/main.c above the
definition of those flags for more information and a possible race
condition issue.

This is a quick fix for bug #137 that will be merged in 2.0-stable
branch.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: replace 'modprobe -l' by lsmod in kernel test

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing ht_destroy at consumer teardown

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Remove useless test and fix message output

Signed-off-by: David Goulet <dgoulet@efficios.com>

Wait for all apps in high-throughput test

Don't wait an arbitrary amount of time for application to end.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add multi-session test for UST

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumer fd recv thread should write into non-blocking pipe

Writing into a blocking pipe will cause the writer thread to block on
the poll fds thread when the pipe is full. Given that we would like to
batch stream array reallocation as much as possible, this wakeup should
not block.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: work-around glibc __nptl_setxid vs clone hang

hash table resize threads exit end up setting a "locked" state within
libc pthread, which deadlocks with seteuid/setegid called from the
cloned process in runas.c when runas() is called exactly when a resize
thread exits.

Temporarily fix this issue by adding a mutex cross this resize
operation, which holds mutual exclusion with runas() usage.

We should investigate whether we want to properly call exec() from the
runas.c clone child before touching any non-async-signal-safe libc call.
However, given that this change is more intrusive, let's first use this
mutex-based work-around.

Before this fix, running 1000 instances of "demo-trace 300" with
sessiond running as root, and:

lttng create
lttng enable-event -u -a
lttng start

would sometimes lead to consumerd hang with the following clone child
backtrace:

setxid_mark_thread (cmdp=<optimized out>, t=0x7f52dd47c700)
    at allocatestack.c:995
995 allocatestack.c: No such file or directory.
(gdb) bt full
    at allocatestack.c:995
        ch = <optimized out>
    at allocatestack.c:1088
        t = 0x80
        signalled = <optimized out>
        result = <optimized out>
        runp = 0x7f52dd47c9c0
    at ../sysdeps/unix/sysv/linux/setegid.c:44
        __p = 0xfffffffffffffe00
        __cmd = {syscall_no = 119, id = {-1, 1000, -1}, cntr = 0}
        result = <optimized out>
        data = 0x7f52e66e1930
        writelen = <optimized out>
        writeleft = <optimized out>
        index = <optimized out>
        sendret = {i = 0, c = "\000\000\000"}
        ret = <optimized out>
        __func__ = "child_run_as"
    at ../sysdeps/unix/sysv/linux/x86_64/clone.S:112
No locals.
No symbol table info available.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: consumer fd recv poll should be sensitive to POLLPRI too

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix consumer lttng_consumer_poll_socket poll revents check bug

Was causing the sessiond to fail to receive streams under heavy load,
because this test needs to be done with a mask rather than equality.
Testing equality was failing as soon as POLLPRI (or any other flag) was
set.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: increase consumer open files limit

Set ulimit of consumer when root so it can scales up to the session
daemon number of open files.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update README: document dep on modprobe for kernel tracing

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix tests: add missing session2 destroy

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: increase wait time for UST high-throughput test

On slower system, this test failed due to the time period the test does
for applications to at least start tracing.

Add a warning on stdout telling that this is an arbitrary time and might
fail on slower system.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wait for sessiond to stop in tests

Before returning from stop_sessiond bash function, we wait that the
sessiond daemon completely stopped. If it hungs up at that point, the
kill did not work and investigation can begin.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: tests: error handling labels are in the wrong order

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: remove unused return variable

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: kernel test scripts

Signed-off-by: David Goulet <dgoulet@efficios.com>

Don't report back error on syscalls fail for -a -k

lttng enable-event -a -k will not report an error anymmore if enabling
syscall events has failed. Please refer to the commitdiff for a detailed
comment on why this is done like so.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: destroy context hash table being NULL

Passing an event unknown loglevel type to the session daemon (for UST
domain) was triggering an error code path to destroy the context hash
table of the event which is not created once the error is hit.

Fix a segfault completely killing the session daemon.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add channel command in utils.sh of tests

Signed-off-by: David Goulet <dgoulet@efficios.com>

Improve UST tracing actions test

Test all possible lttng command for UST domain.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add wildcard test to UST

Rename test file and add two event wildcard type to the test.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: make lttng expand path for trace output opt

lttng create --output was passing the path string to the session daemon
and thus, for relative path like './mytraces', it was created in the
current directory of the session daemon.

Now lttng command line uses the realpath(3) of the --output string and
denies creation if multiple level of directory does not exist (Ex:
/tmp/foo/bar/chap, if foo/ does not exist, it is refused).

Directory creation still occurs on the session daemon side.

Reported-by: Ettore Del Negro <ettore@ettoredelnegro.me>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove tests from runall script

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: return value signedness

Also remove repeated include headers.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: man page environment variable name error

Reported-by: Ryan Kyser <Ryan.Kyser@jci.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: check return value on getenv USER

System with no environment variable USER, one of the easter egg caused a
segfault on certain embedded linux platforms.

Other getenv() of the project were audited to ensure that the return
value is checked.

Reported-by: Ryan Kyser <Ryan.Kyser@jci.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Remove useless test

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add before-after test

Test tracing before and after application execution.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Cleanup debug printf in test

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix tests when lttng-ust is disabled

(close #200)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add low-throughput test

Test during 20 minutes events at each minute, 10 minutes and 20 minutes.
It validates the event order with an incremental counter.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add high-throughput test

This tests high number of events being recorded with multiple concurrent
instrumented applications.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Improve tests and change tests/ directory layout

Add run-report.py and test_list.py files which are an extended test framework
providing memory and CPU sampling of the session daemon during the tests.

Tests are now divided on a per package basis. The kernel/ directory contains
integration tests for lttng-modules (kernel tracer). ust/ directory contains
tests for lttng-ust and tools/ directory has the unit tests of lttng-tools
itself which does not test tracer integration.

First patch aimed at improving test coverage of the lttng 2.0 toolchain and
provide the python framework for more detailled analysis.

Use make check to run them all or use run-report.py and select which tests to
run in test_list.py.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to 2.0.0 stable

ROCK ON!!!

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to v2.0.0-rc4

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add small detail to enable-channel man page

(close #192)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: warned of arbitrary time for ust-nprocesses test

(close #157)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix. add limitation to man page

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: minor changes to lttng.1

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add exit values to lttng.1 man page

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add delay before validating apps in test nproc

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: error handling in lttng enable-event

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: document structure init. to 0 in lttng.h

Document the fact that the structures should be initialized to zero in
lttng.h since there is no init function.

(close #135)

Signed-off-by: Raphaël Beamonte <raphael.beamonte@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: uninitialized variable

Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Keep track of FD used for UST applications (v2)

Allow to keep 25% of file descriptors reserved for commands/kernel
tracing/internal communication within the sessiond by limiting
applications to 75% of the available file descriptors. This ensures
traced applications cannot cause a sessiond denial of service.

Changelog since v1:
- Add missing fd-limit.h

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: lttng view, error message and exit code

lttng view is a frontend command, when the viewer is not found in the
path, the error message should be human readable (no need for the
developper-oriented debug message).

Also the return code must indicate that something went wrong if the
viewer is not on the system.

(fix #144)

Signed-off-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@ev0ke.net>

Small fixes to lttng man pages (v2)

Signed-off-by: Yannick Brosseau <yannick.brosseau@gmail.com>

Merge branch 'master' of git://git.lttng.org/lttng-tools

Fix: handle EINTR for sendmsg syscall

(close #170)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: lttng UI exit value and error message

Change lttcomm error code starting value from 1000 to 10. This way, bash
can return the exact error code since 255 is the maximum.

Fix multiple warning, error and message output.

Some return code could still be not "standardize" but for stable it's
ok. Fixes can come later on.

(close #105)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: session lock use after free

The session lock is broken in that it does not handle teardown correctly
(use after free). Surround each usage by the session list lock for now
to fix this issue, and don't unlock the session lock after free. Since
each session lock usage is surrounded by session list lock, no other
thread will be left waiting on this lock when the session destroy is
performed.

This effectively renders useless the per-session lock. Leave it there
for now to minimize code change before 2.0 final.

This locking scheme will be revisited for lttng 2.1.

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix kernel_list_events memleaks

- The fscanf %m allocation was leaking the "event" (needs to be freed
  explicitly).
- The error handling of realloc should free the previous pointer.

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix debug message use uninitialized variable

Reported-by: Yannick Brosseau <yannick.brosseau@gmail.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: trace_ust_destroy_metadata should check for NULL pointer

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: various memleaks

Thanks to valgrind.

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: hash table allocation out of order on error

Signed-off-by: David Goulet <dgoulet@efficios.com>

fix: lttng_ht_destroy memleak

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update version to v2.0.0-rc3

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix missing headers for make dist

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: install lttng-consumerd in lib/lttng/libexec/

This program is not meant to be executed by end-users: it is spawned
only by the session daemon.

Closes #46

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: Redefine MAP_STACK to 0 if not defined by the architecture

This patch fixes build error on architectures (e.g., armel, armhf) that
do not define MAP_STACK.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix consumer CPU hotplug support

This is a quick fix to handle stream update on CPU hotplug. Please look
at #ref 168 for more information and explanation on the real fix.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix double PID registration race

Introduce a second hash table indexed by application socket which have
the exact same content as the hash table indexed by PID.

On unregister, we now use a direct lookup per socket instead of using
the key map between sock and PID. This prevents the PID-sock lookup race
when the unregister happens just after the replace and before the
close(fd).

We also use an add_replace call on application registration for the PID
hash table and kept the add_unique for the socket hash table.

(closes #7)

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Make libcompat independent not to confuse automake

Moving libcompat.la to the compat/ subdirectory and building it before
every other libs.

(closes #101 #153)

Signed-off-by: David Goulet <dgoulet@efficios.com>

Clarify the license of lttng-ust-abi.h

That file's license was not recognized by licensecheck. I suggest using
the MIT/X11 text which is quite similar, and is already used elsewhere
in the project (in Babeltrace).

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Alexandre Montplaisir <alexandre.montplaisir@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

License header fixes

Most of the source files had the wrong FSF address. Also reworded the
first paragraph so that licensecheck's regexes actually pick up the
version number.

I made sure lttng.h and lttng-ctl.c advertise LGPL-2.1. Every other file
touched in this patch was and remains under GPL2, please make sure this
is correct. (Some files related to the RCU hashtable are under
LGPL-2.1+, but their headers were already clean).

(closes #155)

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Alexandre Montplaisir <alexandre.montplaisir@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix wrong return value on consumer socket creation

A failing call to mkdir() returned 0 instead of an error and was
creating a segfault later on since some memory was not initialized.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: test for UST invalid channel parameters at channel creation

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: recvmsg should handle EINTR

Acked-by: David Goulet <dgoulet@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>