Fix: add consumer wake up pipe to avoid race

UST application will notify the wait_fd pipe for every subbuffer that it
writes and ready to be consumed. However, on *high* load systems, this
1:1 property can fail if the pipe gets filled up. For performance
reason, UST will ignore this error and continue since it can't wait for
the pipe to clear up.

This triggers a race condition where we have *one* wake up on the UST
pipe for potentially multiple subbuffers. A data pending command will
wait forever on streams that still has data but the data thread could'nt
consumed them because of this 1:n possible race. Using the stop command
without waiting would mean a memory/fd leak of the stream.

Thus, we add a consumer wake up pipe here that notifies the data thread
if there is still data to be read after a successful read subbuffer
call. With this, we end up handling the residual buffers if any since
the data thread is always notified when there is still data to be read.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't spawn relayd if URL is provided

In the lttng command line tool, relayd should only be spawned for the
default use case which is no URL provided.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: update test to use correct lttng load option

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: allow loading session file with -i option

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: bad errno handling in load session from path

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update load help message

Signed-off-by: David Goulet <dgoulet@efficios.com>

Print message on a successful load command

Fixes #754

Signed-off-by: David Goulet <dgoulet@efficios.com>

Remove -s option from lttng load command

This is to help usability and also provide the same usage as lttng save
command that does not require this option.

Fixes #755

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update ChangeLog and configure to 2.4.0 stable

Signed-off-by: David Goulet <dgoulet@efficios.com>

Rename kernel and ust trace variable for clarity

Signed-off-by: David Goulet <dgoulet@efficios.com>

Rename variable in session.h for clarity

The "started" var. is changed to the flag "has_been_started" indicating
if at least ONE start command has been seen.

The "enabled" var. is changed to the flag "active" and the semantic is
the same.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't ask data pending if session was not started

Fixes #770

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: missing test file in EXTRA dist

Fixes #753

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: add tests for the save and load feature

This commit integrates the tests to the fast make check.

Fixes #757

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: set full path in .gitignore

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: use NULL url for load live session

For a live session, the control and data URI are mandatory thus pass
NULL to the create session so we can set them afterwards by a set
consumer URL call.

net:// can't be used for control and data so this fixes the uri to url
string by printing "tcp://" instead of net:// which is more accurate and
the good way to actually print the URL to the user.

Fixes #767

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: allow empty URL for live session creation

This is actually very important so -C/-D can be used with lttng create
--live command and also the load command can set the control and data
URL independently.

This also adds a small test to make sure -C/-D works in live mode.

Fixes #769

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: missing valid return code when adding an URI to consumer

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: clarify sessiond ust app queue cmd comment

Reported-by: Daniel Thibault <Daniel.Thibault@drdc-rddc.gc.ca>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: use uri API to parse url for save command

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Succesful session load might still report an error

This ensures that the load command reports a successful load when
the session is found in the user's home session configuration
directory and not in the system-wide session configuration directory.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Pass session name to config_load_session when no path is provided

Fixes #756

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Remove overly restrictive asserts in create_session()

The current assertions only allow sessions containing all three
domain types to be created. The pointers are already checked at
ln 1242.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: syntax error in lttng.1

Signed-off-by: Michael Jeanson <mjeanson@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: rename config internal header to abi

Allow config ABI to be visible to the internal code.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add error/msg output to save command

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing string msg for save/load error code

Also, the LTTNG_ERR_LOAD_SESSION_NOT_FOUND has been removed and replaced
by LTTNG_ERR_LOAD_SESSION_NOENT.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: return error if not in overwrite mode and file exists

For the save command, if the file is found and we are not in overwrite
mode, send back an new error indicating the client that the file already
exists.

Fixes #762

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: missing memset 0 and NULL byte in string

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: check relayd fd leak in lttng cmdline

Fixes coverity issue 1188185.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: time of check time of use scenario

Fixes coverity issue 1191753.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: missing varargs cleanup on error

Fixes coverity issue 1191751.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong number of elements in array for loop

Fixes coverity issue 1191759.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: possible unlink on uninitialized buffer path

Fixes coverity issue 1191752.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: possible load config domain overwrite

The uniqueness of the domain CAN NOT be enforced with the XML xsd schema
so if the same domains are seen, return an error.

Fixes coverity issue 1191755.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: memory leak

Fixes coverity issue 1191756.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: save session usage of string size

Kind of fixes coverity issue 1191758 since there was a bad check but the
reported issue does not makes sense since there is in fact a validation
before writing the string making the "len" variable never able to reach
4096 (PATH_MAX).

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: remove unused tp in high-throughput test

Signed-off-by: Zifei Tong <zifeitong@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Use autoconf AM_MAINTAINER_MODE.

Give distribution maintainers the option to skip rebuilding autoconf and
automake generated files. The default behaviour is still to have the
rebuild rules enabled.

Signed-off-by: Lars Persson <larper@axis.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: handle signed return value for snprintf

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: clang 'constant-out-of-range-compare' warning

This patch fixes two 'autological-constant-out-of-range-compare' clang
warnings caused by comparing enum type variables with -1.

It's possible that compilers optimize these two comparisons away.

Signed-off-by: Zifei Tong <zifeitong@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Fail configuration if libxml2 is not found

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add load command to the lttng client

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add session configuration load capability to libconfig

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add a save command based on the save API to the lttng client

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add session configuration save feature to session daemon

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add a save API to lttng-ctl

This adds multiple function calls to the lttng-ctl API with save.h and
save-internal.h files.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add session configuration XSD

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add a config_writer API based on libxml2

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Add a dependency to libxml2

libxml2 2.7.6 is the oldest supported version.
This is the version distributed as part of RHEL 6.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Send filter expression string to session daemon

Send the filter expression string along with the filter's bytecode to
the session daemon. The session daemon now stores the filter expression.
This makes it possible to list the filter's expression when listing
events.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: tcp4 and net4 protocol support in uri_parse

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

session_find_by_name does not need a non-const name param

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Unchecked session pointer when destroying a connection in relayd

An unknown command currently crashes the relay daemon since
destroy_connection calls destroy_session without checking whether or not
a session is associated with the connection.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: improve lttng with live by spawning relayd

The create --live, will try to spawn a default relayd if no URL is
given.

The lttng view now supports the live tracing mode thus lttng view is
usable with a live session.

Fixes #738

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: relayd should listen for viewers on localhost only by default

Having relayd listening by default on 0.0.0.0 (all interfaces) with a
protocol without authentication is an information leak waiting to
happen.

Users should explicitely specify if they want to listen on all
interfaces, using e.g. -L tcp://0.0.0.0:5344 (see lttng-relayd(8)
manpage for details). They should only do so if they use a firewall, or
are within a secured network.

Fixes #746

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: handle loglevel range ALL in list command

Print the ":" if we get the ALL range and not TYPE UNKNOWN.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests: add JUL test for multiple loglevel

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: index JUL event by name *and* loglevel

This is to support multiple loglevels for a JUL event.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: JUL to enable user and root tracepoints

This is needed to support the LTTng JUL agent to connect to both user
and root session daemon, we have to enable different tracepoint for the
two cases in order to avoid duplicating the trace payload in both the
user and root trace output.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Revert "Fix: format + PACKAGE_URL for dynamic printing"

This changes the lttng version output considered as a stable ABI in RC
cycle. This will apply to 2.5.

This reverts commit 9afbd878f072d5e0577811acf1d3340f65cf2e26.

Fix: handle the registration done command for JUL

Lockstep with lttng-ust.

Part of the fix for issue #692

Signed-off-by: David Goulet <dgoulet@efficios.com>

Test fix: use temp file sync. of test app

Fixes #736

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: keep metadata channel attr in UST session

This is so that if we have NO application we can use the metadata
channel attributes once one appears.

Signed-off-by: David Goulet <dgoulet@efficios.com>

Tests fix: Missing waitpid in fork test

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add loglevel type to lttng list <name>

For range loglevel, the <= is used and for single ==. For instance:

ev_log_range (loglevel <= TRACE_WARNING (4)) (type: tracepoint)
ev_log_single (loglevel == TRACE_NOTICE (5)) (type: tracepoint)

Fixes #628

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: minor rephrasing of the lttng.1 man page

Fixes #730

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Warn user if JUL port is already being used

Fixes #740

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add some sane default values to --live opt

The lttng create --live now takes optional arguments meaning if no USEC
or/and -U are found, some defaults value are used.

Fixes #738

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: possible NULL deref. in sessiond error path

Fxies #735

Signed-off-by: Stefan Seefeld <stefan@codesourcery.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: format + PACKAGE_URL for dynamic printing

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: flag that kernel streams FDs has been sent

Flag the session *after* every stream was successfully sent.

Fixes #731

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: forbid session name creation if contains /

This adds a validation function for session name which for now denies
any session name containing '/'.

This is in response of bug #721 that actually uses a path as a session
name such as "test/../session1" which would then be concatenated to the
session path adding a relative path to it making this a serious security
issue.

Because of this issue, this is backported from master up to stable-2.3.

Fixes #721

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: don't start session if no channel

This adds a new error code that indicates that the session contains NO
channel.

Fixes #715

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing relayd option to man page

Fixes #706

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: report error if consumer can't be spawned

On error of the UST consumer execl(), we now exit the forked process
like the kernel does.

Furthermore, fix an error handling value when timing out when waiting
for the consumer to bootstrap thus returning an error to the client and
not continuing with the command thinking that the consumer was actually
spawned.

So, the expected behavior is to wait for the pthread condition and if a
timeout is seen, the client is informed thus making the client command
hang for the default timeout value of 30 seconds.

Fixes #702

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: lttng list -u <name> should only list UST

Fixes #654

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: kernel channel destroy on consumer if sent

An enable-channel immediately followed by a destroy session triggered an
assert on the consumer followed by the shutdown of the consumer thread
for the kernel.

This fix make sure we don't ask the consumer to destroy a channel if not
previously sent to it and handle not found channel on destroy.

Fixes #643

Signed-off-by: David Goulet <dgoulet@efficios.com>

Update changelog with stable 2.3 and 2.4 branch

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: only create UST metadata on start trace

Fixes #739

Acked-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Revert "Fix: wrong condition on startup for low-activity streams"

This reverts commit d3aac146d0800fe9820d51e5b9fa52e7543c1237.

Acked-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: missing big endian conversion for one index field

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong condition on startup for low-activity streams

If we only received and sent one index, we should not be in the retry
condition.
The rstream->total_index_received == vstream->last_sent_index is checked
before.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: perror on index directory creation error

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Comments fix: lttngerr.h -> error.h (./Changelog:754)

Signed-off-by: Jonathan Rajotte <jonathan.r.julien@gmail.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: consumerd errors on exit

- The LTTNG_CONSUMER_STOP command is not used by sessiond anymore, so
  deprecate it,
- Ensure that the normal teardown (with signal handler) does not trigger
  a health error in consumer daemon by distinguishing between errors and
  "should exit" with different lttng_consumer_poll_socket() return values.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: scanf unbounded input

Awaiting a proper cleanup (introducing nscanf), do what we can to
validate the scanf input using its utterly broken API.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: miscellaneous memory handling fixes

Issues found with Valgrind:

- Uninitialized memory sent through sendmsg,
- Uninitialized realloc memory,
- Erroneous pointer arithmetic in jul_list_events(),
- Memory leaks in kernel_consumer_add_channel(),
  kernel_consumer_add_metadata(),
- Memory leak (snapshot_destroy missing hash table cleanup),
- Uninitialized poll/epoll memory on realloc.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: add missing VALGRIND ifdef checks and documentation

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: race with index file creation

Only the data thread should create the index file since it is
responsible of filling the FD field of the index struct in memory.
When the control thread is ready to write the index, the FD is already
set.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: deadlock during rotation

The overwrite_lock is nested inside the viewer_stream_rotation_lock.
And the viewer_stream_rotate function is always called with the
viewer_stream_rotation_lock held.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: simplify get next index in live

This fixes some case of unitialized status, use of bad ret value and
help modularize the get next index function.

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: steal channel key in the consumer to avoid race

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: change ERR statement to DBG in kernel read subbuffer

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: handle snapshot ENODATA in live timer

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: relayd leak on error in consumer splice()

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: protect close_write_flag with the rotation lock

Acked-by: Julien Desfossez <julien.desfossez@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Man: clarify loglevel for JUL domain

Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: Define __STDC_LIMIT_MACROS to fix C++ builds

Necessary to include the fixed-width type limits on glibc versions
older than 2.18 when building with a C++ compiler.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>
Signed-off-by: David Goulet <dgoulet@efficios.com>

Fix: wrong data structure used in commit df41f83

Signed-off-by: David Goulet <dgoulet@efficios.com>