Complete change of the source directory tree

For the sake of clearness and awesomeness :P, this change was needed for
better semantic across the code and better organization of source files.

src/
--> Contains source files of the project
bin/
--> Contains every binaries this git tree builds (lttng,
lttng-sessiond and lttng-consumerd).

lib/
--> Contains exported libraries (lttng-ctl).

common/
--> Contains shared code for the entire project. (internal
libraries mostly)

Every internal headers are moved from include/ to src/common. The
include directory only contains exported public headers now
(lttng/lttng.h). The -I$(top_srcdir)/src is also added for all
Makefiles.

The consumerd APIs are not exported anymore. The reason is that the
consumer will get completely re-engineered in the next months. It's our
safety net for the APIs breakage of the coming year concerning the
consumerd library.

Renaming is done also on some internal libraries to follow the naming
convention. The public library liblttngctl is renamed to liblttng-ctl
making it linkable now with "-llttng-ctl" deprecating the old
"-llttngctl".

No code is changed with this commit except #include statements
added/removed/renamed. This is why there is yet files and internal API
calls that does not follow the naming convention (Ex: lttngerr.h,
lttng-share.h in src/common).

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update version to 2.0-pre17

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix missing files for make dist

Signed-off-by: David Goulet <dgoulet@efficios.com>

Don't init kernel tracer if not root (UID=0)

No point of trying to init kernel tracer if the session daemon is not
root. At this time, only UID=0 can load kernel modules and interact with
the lttng kernel tracer.

Reported-by: Daniel Thibault <daniel.thibault@drdc-rddc.gc.ca>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix strncmp for the help option check

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix double free and out of order delete session

Failing to create metadata, the data structure was freed but the pointer
was not set to NULL. When deleting the metadata of that session (that
has failed), the pointer was not NULL creating a "valid" pointer for the
check and creating a double free error. This failure happens when the
session daemon reached the maximum number of open files.

Also, on destroy trace, the ust app session was freed and deref. just
after creating an invalid pointer access.

Finally, set the started flag of a ust app session to 0 when stopping
the session.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Don't start session daemon with --help on the cli

Any --help or -h will not spawned anymore a session daemon when used
with lttng cli.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix UST tests if lttng-ust is not available

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix code syntax

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add UST test ust-nprocesses

Simple to test that launches 100 instrumented applications and validate
that they are all registered to the session daemon.

After that, one event is enabled, tracing starts/stops and finally the
tracing session gets destroyed.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Make MSG() print on stdout instead of stderr

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add UST test for n events using validation

ust-nevents tests an instrumented application generating 100 events and
validating that those events are found using babeltrace (need to be
installed).

Adds the tests/utils.sh which is a family of function used to interact
with lttng cli. There is also a trace_matches function which uses
babeltrace to find string patterns.

Also, the session daemon is spawned at the beginning of runall.sh and
killed at the end. This means that all tests are done on a single
session daemon instance. Thus, session name across tests have to be
unique! From now on, each test should use the file name as a unique
identifier for the session name.

Finally, fixed the session name for all tests. At this commit, "make
check" or "sudo make check" should pass.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add UST validation test for data structure

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix runas namespace

Signed-off-by: David Goulet <dgoulet@efficios.com>

Move runas.h to common/ directory

Simply put to improve semantic over the code includes and knowing that
runas.h comes from the common library.

It's arguable to do this across the code base for all internal
libraries. This should be discuss at least for the code tree
consistency.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add UST test binaries to gitignore

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add two basic tests for UST global domain

They test basic functionnality of UST meaning creating
channel/session/event, enabling/disabling, start/stop and destroy the
session.

Those two tests *does not* use UST instrumented application. They only
test support and communication between lttng cli and session daemon.

Integrated with "make check"

Signed-off-by: David Goulet <dgoulet@efficios.com>

Remove CLONE_VM flag

Makes debugging with GDB impossible. We'll have to revisit the actual
performance impact of not having CLONE_VM in place eventually.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove stringify and add quotes directly in the configure

Some part of the path where the same as some defined variable and
the resulting string conversion gave the wrong result.

Remove the whole stringify function, since its use can be misleading

Signed-off-by: Yannick Brosseau <yannick.brosseau@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add debug output to sessiond's kernel consumer selection

Signed-off-by: Alexandre Montplaisir <alexandre.montplaisir@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add libdir and bindir outputs to configure

Signed-off-by: Alexandre Montplaisir <alexandre.montplaisir@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add target arch and paths to the configure output

The two eval's are needed to correctly expand the variables in the
default path.

Signed-off-by: Alexandre Montplaisir <alexandre.montplaisir@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix multiple error handling for UST tracing

Bad error handling was making event and channel out of sync between
trace ust and ust app data structure.

This makes the session daemon way more stable for the case the sessiond
and/or UST tracer reach the maximum number of open files.

Fix memory leaks upon error when creating a session/channel/event.

Fix out of order add unique channel node to hash table.

Finally, fix some debug/error statements.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Merge branch 'master' of git://git.lttng.org/lttng-tools

Fix incorrect error message for stop trace

Reported-by: Tan Dung Le Tran <tan.dung.le.tran@ericsson.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix ht default size test

in the line:

  size != 0 ? : (size = DEFAULT_HT_SIZE);

we should notice that the lack of ( ) around "size != 0" leads to the
following behavior: the compiler will try to evaluate

  "0 ? : (size = DEFAULT_HT_SIZE)"

and compare it to size, which is not the expected behavior.

Use a standard "if (cond)" test instead. The ? : expression is not
needed here anyway, it just complicates the code.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

UST consumer: close shm fd after mapping it

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update lttng-ust-abi.h local copy

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove unneeded fields assignments (should not use those UST-internal fields)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix out of order channel insert in hash table

The channel, ust-app side, was added to the hash table of the session
even if the creation failed on the tracer side. When enabling event for
that channel, a segfault was hit since the channel did not exist on the
tracer side and channel_data was NULL at this point.

Now the channel insertion in the hash table is done *after* enabling it
on the tracer side.

Reported-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add missing rcu register thread calls

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix trace UST destroy channel

The trace_ust_destroy_channel call was iterating over the internal
events hash table and destroying the complete hash table at each event
which makes no sense at all. This caused a major segfault in the hash
table data structure when destroying a session.

Reported-by: Tan Dung Le Tran<tan.dung.le.tran@ericsson.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Make consumer verbose only with --verbose-consumer option

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add missing rcu read lock and add assert

Signed-off-by: David Goulet <dgoulet@efficios.com>

RCU support for consumer's hash tables

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add lttng hash table support to liblttng-consumer

Remove linked list usage from liblttng-consumer and replace them by
lockless RCU hash tables.

Note that there is still a mutex lock protecting those hash tables and
no RCU lock mechanism used. For now, it's OK and a very small
performance hit.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Remove application from socket hash table upon unregister

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix id vs uid confusion introduced by merge of new hash table code

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove incorrect assert in hash table lookup

key can be NULL (0 value is allowed).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

lttng-sessiond: do not call ustctl_register_done()

When lttng-ust support is not enabled, compilation might fail with:
lttng-tools.git/lttng-sessiond/main.c:1167: undefined reference to
`ustctl_register_done'

Actually when HAVE_LIBLTTNG_UST_CTL is not defined, the function call is
normally optimized out by the compiler because ust_app_register() is a
static inline alway returning a negative value, leaving the call within
unreachable code.

Depending on the compiler version and optimization flags, this may
however not always happen, leading to the above error.

Therefore replace ustctl_register_done() with ustapp_register_done(),
which calls the original function when lttng-ust is enabled, and returns
an error otherwise (it is unreachable code anyway).

Signed-off-by: Gerlando Falauto <gerlando.falauto@keymile.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add and support the new hash table library

liblttng-ht/ is the library introduced for hash table management.

This library uses the URCU ht-shrink branch (not yet upstream) making
the lib completely lockless. Import git head URCU hashtables at commit:
91a75cc579698814e47877cc8927fcae1f573739

Note that urcu hash table files are copied from the urcu git ree to this
git tree waiting for them to be upstream and stable.

Old hash table files are removed from libcommon.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Add missing Makefile.am in common/

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Move runas to common/

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Move hash table to common/ directory

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

runas: use CLONE_VM flag

Having to clone the vma each time runas is executed brings a significant
slowdown to the "start" operation when done with attached application,
and to the file creation needed when an application is attaching to the
sessiond. Use CLONE_VM flag to speed this up.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

runas: use waitpid instead of wait

Deal with multithreading by waiting specifically for the pid we cloned.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update version to 2.0-pre16

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

test_sessions: add fflush after printf not ending with newline

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

clone: return instead of exit()

Calling exit() from the cloned process is a bad idea, because we share
file descriptors with the parent, and exit() has side-effects (anyway,
more than the low-level _exit()).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix stack of librunas child by using mmap and a larger stack

Did cause SIGSEGV for tests/test_sessions.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Only seteuid/setegid if they differ from current values

According to seteuid(2):

       According to POSIX.1, seteuid() (setegid()) need not permit euid (egid)
       to be the same value as the current effective user (group) ID, and some
       implementations do not permit this.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Only allow the user or group owning the session (or root) to control a session

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

librunas: clone another process also if not root

Still useful to isolate umask(0).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Create output directory at session creation command

Otherwise it is weird to see that we are using a directory that we don't
have write access to. Better to fail immediately on the create command.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Implement open_run_as, using clone() CLONE_FILES

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

librarize run_as

still TODO: finish open_run_as -- need to pass the file descriptor back
to the parent. Currently using a racy open+fchown work-around.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Implement run_as wrappers for mkdir/mkdir_recursive/open

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Introduce run_as for mkdir_recursive

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Create all trace directories and files with client user credentials

Keep the client user credentials that created a session along with the
session. Use exactly those credentials to chown the created directories
and files.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Rename sessiond internal "uid" fields to "id"

Ensure we don't confuse "user ID" (UID) and session unique ID
(session_id or id).

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Change easter egg MSG to DBG

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add debug statement

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Support creds passing between lttng and sessiond

From now on, the lttng command line sends it's credential at each
command along with the regular communication data.

The tracing output directory is set to those credentials (uid/gid) if
the session daemon is running as a regular user (even if the user is in
the tracing group). So *no* tracing group is ever set if the session
daemon is not running as a non-root user.

If the sessiond is running as root, the tracing group is set (if exist)
and the uid of the calling user is used.

This fixes the triple enable-channel/event needed to trace UST
applications with a non-root session daemon. This was reported by
Yannick Brosseau <yannick.brosseau@polymtl.ca>.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add support for passing credentials over Unix sock

Add lttcomm_* functions for sending, receiving and setting socket option
to pass credentials over a Unix socket. Those functions allowed normal
data to be pass as well.

First commit of a series to enable credentials passing between the lttng
command line client and the session daemon.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix nested double usage of hashtable iterators

Also cleanup iterator declaration by moving the nested iterator inside
the loop scope.

Reported-by: Yannick Brosseau <yannick.brosseau@polymtl.ca>
Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add disable kernel tracing option to sessiond

Use --no-kernel to completely disable kernel tracing.

Reported-by: Tan Dung Le Tran <tan.dung.le.tran@ericsson.com>
Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update version to 2.0-pre15

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Change liburcu dependency to 0.6.7

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix missing files needed for release

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix register consumer fd test on registration

When a kernel session is created, a consumer is immediately spawned. So,
using two sessions, the second one was not able to register it's own
consumer since the consumer_fd is set because there is a running kernel
consumer from the first created session. The flag consumer_fds_sent is
now used to test if the kernel consumer is already consuming buffers.

Reported-by: Julien Desfossez <julien.desfossez@polymtl.ca>
Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix code syntax

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update quickstart with UST tracing howto

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Deprecate lttng-cli.txt file

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix missing consumer binary name in execl

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix flush buffer after wait quiescent

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Flush UST buffers after stop and wait quiescent

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add missing release handle declaration

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

UST support: release session handle on destroy

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix unused variables

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Flush buffers on UST stop trace

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add non-root support for UST tracing

User-space tracing can now be used without root access meaning that the
session daemon can run with the user credentials and trace his own
applications.

This adds the LTTNG_HOME_RUNDIR which is located, under non privileged
user, in $HOME/.lttng. It contains all the control and consumers
sockets. It is cleanup when lttng-sessiond dies.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add error message when config file not found

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix kernel listing enable status

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Minor fix return value

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Improve UST channel code

Better breakdown of the code when creating/enabling/disabling UST
channel.

No new features added. It's mostly a refactoring.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Improve UST context code

Better breakdown of code when adding context to an event or channel.
This also fix possible memory leak of ust context data structure.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Multiple fixes for enable/disable UST support

Makes the enable/disable command inside the main.c uses the event.c
functions. For this, the disable tracepoint functions (single and all)
for UST are added to event.c

Also fix the goto error path in event.c for disable/enable functions
where the UST event was removed from the hashtable if the event already
exist on the tracer side.

Fix the wrong hashtable being used for events lookup in ust_app.c for
enable/disable event for UST global domain.

Adds the disable event per PID function call in ust_app.c

At this commit, the "lttng disable-event -a -u" command segfault
lttng-ust at commit 5cd29ace704432c7a421f7749ef8591e30e1894c.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix wrong lttng_channel name size

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix wrong sizeof on channel name copy

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix enable event -u -a

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update consumerd search paths comment

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Document wildcards for userspace tracer

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Prefer using the native consumer over 32-bit consumer for kernel

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Change lttng command line options for UST domain

lttng command line option --all is removed and replace by using -u alone
which indicates that the command must be applied to the UST global
domain.

$ lttng enable-event -u --all
is changed to
$ lttng enable-event -u

Also, the long option for -a, --all-events, is replaced by --all.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

API change for lttng_list_domains prototype

Now takes a session name and no lttng_handle anymore.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

API change for lttng_start/stop_tracing prototype

Now takes a session name and no lttng_handle anymore.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

API change for lttng_destroy_session prototype

Now takes a session name and no lttng_handle anymore.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Merge branch 'master'

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add support for UST enable all tracepoints

Support to enable all tracepoints for UST global domain

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

update loglevel printout

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>