Modify default kernel channel size/number

Too small kernel channels (4kB) leads to unwelcome delay at trace
indexing and adds buffer switch overhead. Use a default closer to the
0.x LTTng for buffer size:

256kB subbuffer
4 subbuffers/buffer
for 1MB per channel per CPU in normal tracing mode, and 1MB + 256kB per
channel per CPU in overwrite mode.

We currently plan to still use 4kB * 8 sub-buffers for UST because we
allocate these buffers per process, which makes memory consumption more
of a concern.

The metadata channel is kept small (4kB), but we keep a number of
subbuffer of 8 for now, as the behavior between "start" and spawning the
consumer is in the wrong order: we will need to spawn the consumer
before start is performed, because "start" returns blocks for 10 seconds
and returns an error if the buffers are too small to write metadata (and
they are not consumed).

Also fix a memory leak in init_default_channel.

process_client_msg() now uses a check / alloc / failure for channel
lookup rather than an endless retry, which could have led to denial of
service in case of internal error.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

kconsumerd: fix infinite loop in splice handling of subbuf larger than 4k

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add kernel events tests

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update tests EXTRA_DIST

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add basic kernel tracing tests

This test is the basic use case of kernel tracing by creating a session,
enabling all events, tracing and destroying the session.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Continue parsing options for add-context on error

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add runall.sh test script to distribution

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Rename and export lib kernel consumer

The old liblttkconsumerd is renamed to liblttngkconsumerd and exported
publicly having the public header "lttng/lttng-kconsumerd.h".

To link with this library, use -llttngkconsumerd.

Every public functions now begins with the "lttng_" prefix to fit the
lttng public namespace.

Comments are changed also to fit 80 lines standard and the rest of the
git tree comments.

This complete renaming was motivated by the new tool made by Julien
Desfossez called 'lttngtop' which uses the kernel consumer library to
create a custom consumer. More works will add consumers in the lttv and
babeltrace projects.

Please see lttng.org to learn about lttngtop.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Kconsumerd use the output parameter

Signed-off-by: Julien Desfossez <julien.desfossez@polymtl.ca>

Fix bad channel output when sending to consumer

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Permit custom consumer registration to a session

Introduce the new API call lttng_register_consumer(...).

By giving a lttng_handle and a socket path, the fds will be sent to that
socket for the specific tracing session and domain. No kernel consumer
will be spawned by the session daemon for that session.

At this point, only kernel consumer is supported.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix missing file for make dist

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix copy_string dst validation

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add tar and bz2 file to gitignore

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update version to 2.0-pre11

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix makefile

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Change lttng API to use a lttng_handle

Introduce the lttng_handle structure that is now used by the API
containing the session name and lttng domain.

This removes multiple static variables of the library and makes it safe
for multithread tool to use the library.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Cleanup mmap consuming

Only one mmap call per buffer, once the first mmap is done, we use the
offset to know where to start consuming the data.

When we receive the FD and its output mode is mmap, we mmap the buffer,
when it is closing, we munmap it.

Removed the manual padding handling because the kernel already exposes a
padded subbuffer.

Also updated the check of the return code of
kconsumerd_consumerd_recv_fd to be consistent with the rest of the code,
we are in error when it's < 0 not <= 0.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Julien Desfossez <julien.desfossez@polymtl.ca>

Register the consuming function and add a library context

The init function of the library now takes a function as argument to
allow a consumer using the library to control the function to be called
when data is ready in a buffer.

The kconsumerd_on_read_subbuffer_mmap and
kconsumerd_on_read_subbuffer_splice are now exported to allow a consumer
to use them directly if needed.

Also the library has now a context, where all local parameters are
registered instead of static variables. That way, we can have multiple
callers using the library within the same process. Only the flag
indicating that all fds are closed remain global to the library and
shared among callers.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Julien Desfossez <julien.desfossez@polymtl.ca>

Add doc to liblttkconsumerd.h

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Julien Desfossez <julien.desfossez@polymtl.ca>

Change kernel traces output directory

Adds the kernel/ directory level for kernel traces.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Privatize lttng-sessiond-comm

With the intent of keeping libust, which is really an instrumentation
library, stand-alone, we prefer not to make it depend on a library from
the lttng-tools tree. Therefore, we privatize lttng-sessiond-comm, and
both package will interact through a communication protocol rather than
a shared library.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Header cleanup and alignment fix

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix wrong message with lttng list

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

kernel_list_events: fix file descriptor leak

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Merge branch 'master' of ssh://git.lttng.org/home/git/lttng-tools

Replace underscores of enable-channel options

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Version 2.0-pre10

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove "lib" prefix from .c/.h file names

This is uncommon. "lib" prefix is only needed for the library name.
Let's keep the lib prefix for source tree directory names for clarity
though.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Rename liblttsessiondcomm to liblttng-sessiond-comm, install it.

Install this library in the system, for UST.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Header Alignment Cleanups

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Move LTTNG_RUNDIR declaration to lttng/lttng-sessiond-comm.h

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

header cleanup

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix all strncpy() usage: need to set a final \0 character at the end

strncpy does not necessarily set the last character to the null
terminating character. It must be done explicitly in case of overflow.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Install lttng/lttng-sessiond-comm.h into system

This header is needed by UST 2.0 for communication with the sessiond.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix format string warnings

Print size_t as %zu.

Signed-off-by: Simon Marchi <simon.marchi@polymtl.ca>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Cleanup libkernelctl API

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Version 2.0-pre9

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Don't print connect error upon failure

Used in normal operation, should not print error.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Version 2.0-pre8

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Cleanup compiler warnings

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Allow tracing group users to read trace files they generated

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix handling of sessiond respawn after a SIGKILL

Checking if the sessiond responds to connect() lets lttng / ltt-sessiond
check correctly if the socket files are stale files or actively used.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Safe list iteration in kconsumerd: protect against free()

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add --verbose-kconsumerd option to sessiond

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

ltt-sessiond teardown cleanup

ltt-sessiond now kills (SIGTERM) the kconsumerd before exiting, so the
LTTng module unload succeeds. Previously, the kconsumerd was still
holding a reference on ltt-relay.ko -- it was only being released after
ltt-sessiond closed its communication socket with kconsumerd.

Now, all the teardown actually wakes each thread, getting them to
return, and main() joins each of them before calling cleanup().
Previously, we had no guarantee that threads would not run concurrently
with cleanup() executed from the signal handler.

It would still be good to audit _each_ read call so we ensure that they
are performed on O_NONBLOCK fcntl fds (as we did in the kconsumerd), so
all the blocking is done in a poll() call, which can be woken up by the
sessiond termination file descriptor too (from the signal handler).
Failure to respect this could lead to races where sessiond blocks on a
file descriptor and never really honour the signal for a thread, thus
leading to blocking of the main() thread on a join.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Version 2.0-pre7

Add calibrate.txt

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

mkdir_recursive: keep original prototype

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Cleanup mkdir_recursive indent

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Make "please specify tracer" comment more helpful

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add calibrate command

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix module unload order

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Unload lttng modules when sessiond quits

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove all remaining sessiond kernel command

All command now uses the lttng_domain

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Change disable event command to be per domain

Removes LTTNG_KERNEL_DISABLE_EVENT and use a generic command based on
lttng domain.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Remove path and session from session message

Replace the two by a lttng_session structure.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Change disable channel command to be per domain

Removes LTTNG_KERNEL_DISABLE_CHANNEL and use a generic command based on
lttng domain.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Rewrite the add context command of sessiond

Introduce context.c/.h which contains code to manage lttng context.

The add context command is now based on the lttng domain removing the
LTTNG_KERNEL_ADD_CONTEXT to simply LTTNG_ADD_CONTEXT.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Remove session daemon kernel list events command

Replace this command by list tracepoints and use the domain for listing.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Improve protection around strncpy and memcpy calls

Add copy_string which check for null pointer and add the null terminated
byte by default.

All pointer pass to memcpy are checked for null value.

All lttng_domain pointer are checked also for null value.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Change list kernel events to list tracepoints

Remove lttng_list_kernel_events to lttng_list_tracepoints(domain).

Make it generic to lttng domain and specific for tracepoints which are
static instrumentation.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix uninitialized variable

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Improve the lttng list feature

Introduce three new functions to the public API which are
lttng_list_channels, lttng_list_events and lttng_list_domains.

Also add the lttng_list_kernel_events which list available tracing
events of the kernel.

Adds new options to the lttng list command for listing a lot more
details of a tracing session including channels, events and domains.

Also adds the enabled flag to the lttng_event and lttng_channel
structure.

Fix a bad pointer cast in list events.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update quickstart

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix missing session list unlock

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update quickstart

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update version to 2.0-pre6

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add kretprobe support (new --function implementation)

Add kretprobe support (new --function implementation)

Also support probe "symbol" (without +offset) by checking first
character with isalpha().

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix multiple enable events

The session name was not set after the first event enabled.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update version to 2.0-pre5

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Print trace output patch on lttng create

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix adding multiple kernel context at once

The session name was not set when multiple add-context was asked.

Also fix error message and session daemon return error when one add
kernel context fails.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix auto session path duplication

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix bad strncmp length

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update version to 2.0-pre4

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix channel creation when enabling an event

If the channel is not found when enabling an event, that channel will be
created.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add event count in channel structure

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix uninitialized kprobe attributes

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix bad address conversion

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Trace path creation made on the client side

The traces output path is set on the client side with the date and time
if no output path is specified.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix safe list iteration

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add reset of the session message

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix comments in main.c

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Increase possible verbose level for session daemon

Using -vv, the kernel consumer goes into verbose mode.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix set session command

The command was appending a new session name and not replacing it.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add kernel trace data structure test

Test all kernel data structure found in ltt-sessiond/trace.c/.h.

Also adds a utils.h having a pretty print for OK and FAIL. The session
test is modified to use those prints.

Better runall.sh which iterates over an array containing test binaries
name and terminates when one test fails.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix missing pointer initialisation

Channel and event context pointer was not set to NULL at creation.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add tracing session test

Tests the tracing session functions found in ltt-sessiond/session.h/.c

Creation, destruction and iteration is tested.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Update version to 2.0-pre3

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix perf hw cache counter config values

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update version to 2.0-pre2

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Add missing fprintf format

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

UI print cleanup

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Use "probe" rather than "kprobe" for UI

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update quickstart for new perf UI

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update handling of perf counters in add-context

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove assert from kconsumerd (multi-fd handling is ok)

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Cleanup header

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add string options for add-context

List of strings can be used for context type, perf type and perf id.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>