Add UST vs SystemTAP scalability test

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

ChangeLog and version updates for release 0.11

Fix a minor ugliness

Variable was defined in middle of a block

Fix variable declaration of the clock source v2

The ust_clock_source was static in clock.h header file.
Thus, tracectl.c was not able to modify that variable for
the trace clock read function. Bad timestamp was always
returned if CLOCK_TRACE was not available.

v2:
Comment by Mathieu Desnoyers, set clock source variable
to extern in clock.h

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Acked-by: Nils Carlson <nils.carlson@ericsson.com>

Fix the URCU version detection for autoconf version 2.65 and older

Signed-off-by: Yannick Brosseau <yannick.brosseau@gmail.com>
Acked-by: David Goulet <david.goulet@polymtl.ca>
Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

ChangeLog and version updates for ust 0.10

usttrace fix variable name clash

Fix some variable name errors in the shell scripts. It does not fix my
hang, but might help.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Acked-by: Nils Carlson <nils.carlson@ericsson.com>

At runtime, UST checks if the LTTng clock source is available
If not, CLOCK_MONOTONIC is the default fallback.

This makes UST use the LTTng kernel clock source. With this
clock support, LTTng and UST traces are perfectly synchronize.
Traces from these two tracer can be merged for analysis.

LTTng 0.240 or higher is needed for this new clock source.

Signed-off-by: Julien Desfossez <julien.desfossez@polymtl.ca>
Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Acked-by: Nils Carlson <nils.carlson@ericsson.com>

Add a test to valide that we use URCU with a minimum version of 0.5

Signed-off-by: Yannick Brosseau <yannick.brosseau@gmail.com>
Acked-by: Nils Carlson <nils.carlson@ericsson.com>

Rename libustd to libustconsumer and ustd to ust-consumerd

This is a fargoing but necessary renaming of some ust components.
The point of the renaming is to allow for a new daemon, ustd, which
will be able to keep track of tracing sessions and connect applications
with consumers. Also, the current names were non-sensical.

This patch is a step on the way towards creating a session daemon
that can connect trace producers and consumers in a nice way.

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>

Generalize some ustcomm functionality

There were multiple cases of only a single text field being sent
with ustcomm. This commit merges these into a single case.

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>

Fix freeing of channels and buffers in buffers.c v2

Changes since v1:
Handle new naming conventions

buffers.c appeared to be very convoluted full of krefs and in
general very bad shape. I have tried to make the freeing and
unmapping of shared memory symmetrical in the sense that every
open has a corresponding close and every map has a corresponding
unmap.

I have removed all use of krefs. Assuming no concurrency this
should be fine. The kref usage was anyway broken.

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>

ChangeLog and version updates for release 0.9

Fix info automake and clean doc automake

Fix so that info is built using automake and also clean up the
automake process so that make clean works.

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>
Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Update manpage for option -o of usttrace

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove unuse header disable.h

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove kref from kcompat's headers and code

It contains the exact same code of urcu_ref.h. The kref
struct and methods are replaced by those from liburcu.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove hlist from kcompat's headers and code

The hlist structure is no longer needed since it's the exact
same implementation in liburcu.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix Bug#604955: ust: FTBFS

> Regarding the above subject, Your package FTBFS on ubuntu due to
> indirect linking

Fixed the test program by adding "-lpthread -lrt" to Makefile.am.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Rename for the new liburcu API namespace

This commit makes UST compatible with liburcu 0.5.2

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add libtool to .gitignore

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add output directory option to usttrace

This patch add the -o option to usttrace to control the output directory
given to the UST daemon.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add trace name handling throughout tracectl, ustcomm and ustcmd

This patch is the first real step in allowing multi-session
tracing. It pushes trace name all the way out to libustcmd
(though not yet to ustctl) and trace session support all
the way into tracectl in libust (though not yet down to markers).

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>
Acked-by: David Goulet <david.goulet@polymtl.ca>

Add ustcomm_trace_info struct and support functions to ustcomm

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>
Acked-by: David Goulet <david.goulet@polymtl.ca>

Kill some unused code in ustcomm.c

Signed-off-by: Nils Carlson<nils.carlson@ericsson.com>
Acked-by: David Goulet <david.goulet@polymtl.ca>

ChangeLog and version updates for release 0.8

Make tracectl destructor aware of fork status

This little patch checks to see whether we have used a fork
wrapper to fork. If not we won't have a working UST in the process
and can skip the destructor stage.

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>
Acked-by: David Goulet <david.goulet@polymtl.ca>

Function tests for libustcmd and a C tap library

This is a bunch of function tests for libustcmd, checking return
values and other things and emitting output directly in TAP format.

I wanted to get better feedback on what is working and what isn't
and also check that functions return intelligent values. The function
tests currently run without ustd. Eventually I want to link ustd into
the testcase as well to check that functions return errors if no ustd
instance was reachable, but right now it's enough that we get some
general feedback.

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>
Acked-by: David Goulet <david.goulet@polymtl.ca>

Introduce a new communication protocol for UST v5

Changes since v4:
More scanning fixes in ustctl

Changes since v3:
Fix minor bugs in ustctl

Changes since v2:
Fix packing of the socket path and ustcmd handling
of socket path

Changes since v1:
Update after comments from David Goulet,
fix some style issues, a bug in GET_SOCK_PATH and
add a fixme for posterity.

This is once again a bit of a code-dump. The principal of this
patch is to get rid of most string parsing in UST and most
dynamic heap memory allocation by libust. A secondary goal
has been to introduce a command-response model so all commands
receive responses with a result code. This has been achived
through the following steps.

 1. Create standardised message containers as structs ending in
    a char array. The char array is used to pack strings into
    while pointers in the struct point positions relative the data
    segment in the struct. Unpacking the struct upon reception is
    a simple matter of adding to the pointers the position in memory
    of the char array.

2.  Keeping a char array permanently allocated in libust that is
    used to receive incoming data, avoiding allocation. This array
    is large enough to receive any of the pre-defined message
    structs.

3.  Replacing all string matching for commands with enum based switch
    statements. This will scale better over time.

4.  All commands now receive responses containing a result as a negative
    errno. Libustcmd now returns -1 and sets errno according to these.
    Eventually these will need to be documented in manpages with
    what each errno implies. Ustctl needs to check these in turn and
    give meaningfull feedback.

5.  Cleaning up tracectl.c quite a bit separating out control functions
    and message handling.

6.  Move channel marker scanning from tracectl out to ustctl.

Fifth is a pain

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>
Acked-by: David Goulet <david.goulet@polymtl.ca>

Remove a silly print out in ust_trace.h

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>
Acked-by: David Goulet <david.goulet@polymtl.ca>

Add a valgrind suppression for sendmsg (v2)

Changes since v1: Make the suppression match libc and
libpthread, multiple versions.

For some reason valgrind thinks the iov array in ustcomm_send_fd
is used uninitialised. Add a suppression so this won't show as
an error.

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>
Acked-by: David Goulet <david.goulet@polymtl.ca>

Add a tracepoint test program

This test is aimed at testing different tracepoint case and
be used to ensure no bugs are added.

Complete description of the test in tracepoint_test.c

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Acked-by: Nils Carlson <nils.carlson@ericsson.com>

Update the COPYING file to state the correct license

Update the COPYING file to the most applicable license and
add more attributions.

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>

Fix missing data pointer

This applies to tracepoint using a marker (trace_mark_tp)

At commit 9dec086e052cf7f583a3afaa3aab48a6de8d38ac,
the tracepoint_probe_register/unregister_noupdate function has been
changed with the addition of a void data pointer. In set_marker(),
the call to that function was not updated with this new parameter.
The effect was that on a second register_trace with an already
registered probe, the data ptr was corrupted with false data and
thus the probe checking failed to validate duplicates. So, the same
data was reproduced for a single trace call. Same behavior for
unregistering the marker, it was not found.

NOTE : For now, this pointer is NULL because we don't have at this
point tracing session.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix insecure library loading (Debian Bug #598309, CVE-2010-3386) (v2)

Thanks to Raphael Geissert for spotting this, and to Jon Bernard for forwarding
the information to us.

Changelog since v1:
Apply comments from Nils.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Acked-by: Nils Carlson <nils.carlson@ericsson.com>
CC: Raphael Geissert <geissert@debian.org>
CC: Jon Bernard <jbernard@debian.org>

Fix a zmalloc bug

sizeof(void *) was allocated instead of sizeof(struct probe).

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>

New naming convention for internal macros

This is the first patch introducing the new naming convention
for the UST tracer. To prevent namespace pollution, _ust_ prefix
is added to internal macros which are visible in the global header.

For this patch, only the container_of macro is renamed and the
redundant definition in kcompat/simple.h is removed.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Acked-by: Nils Carlson <nils.carlson@ericsson.com>

Re-write ustcomm parts of UST v2

Changes since v1:

Updated after comments from David Goulet and resulting insights.
* Add a continue after a failed accept
* Fix some malloc issues
* Fix some coding style in the patch
* make del_named_sock free the memory, even if all else fails.

Notice: valgrind test-case currently broken. Needs an exception.

Description:

This is a very big patch, and so it requires a bit of explaining.

This patch is a step on the way of accomplishing serveral goals I have in this
area:

1. Use enums for commands and eliminate text-based commands. This does not mean
   that we will stop processing strings for trace/channel and marker names;
   just that the long series of if statements with token and string matching
   will be replaced with a switch statement. To this end I have created a
   ustcomm_header struct that contains the length of the data-field and some
   other fields. This allows us to first receive the header, allocate memory
   for the data and then receive the data; eliminating all scanning of messages.

2. Reduce the complexity of the implementation. To put it simply, I don't like
   callbacks. They reduce transparency and make it difficult to follow the
   flow of the code; so I have eliminated multipoll replacing it with a normal
   epoll. I have also replaced almost all the different server, connection and
   source structs with one, called ustcomm_sock.

3. Make ustd scale better. Currently ustd scales terribly. We allocate one
   thread per-cpu per-channel per-process, five applications each with three
   channels on a four cpu machine leads to 5*3*4=60 threads. Part of the reason
   for this multitude of threads was that we used a ustcomm_request call
   (consisting of a send and a receive) to wait for a subbuffer to be written.
   The sequence for a subbuffer to be written was as follows:

      Ustd calls send with a 'get_subbuffer' command, and then recv in one of
      the threads and hangs on the recv on the socket.

      Upon filling the subbuffer the traced app writes '1' to a pipe.

      The ust_thread inside the app which was listening to the other end of the
      pipe wakes up when the '1' is written. The callback from multipoll calls
      a send which sends a reply to the ustd thread over the socket.

      The ustd thread wakes up and reads the message, continuing along in its
      execution.

   I replace this with a bit of a different mechanism, which should allow us
   to eventually reduce the number of threads to one per cpu:

      Ustd requests a buffer_fd which causes the ustd_thread inside the app
      to send the file-descriptor for the read en of the pipe to ustd.

      The ustd thread now does a read on the pipe, halting its execution until
      the app fills the subbuffer and writes '1' to the pipe, waking up the ustd
      thread.

      Ustd now makes the 'get_subbuffer' call which the ust_thread inside the
      app responds to with information about the subbuffer. Writes it and then
      goes back to the read call, hanging on the pipe.

   So we are still stuck on the multitude of threads, but we are in much better
   position to move forward. Replacing the read with an epoll statement and then
   pointing the epoll event data at the buffer struct containing the current
   buffer to whitch the pipe belongs should be relatively easy. We can then
   instead of spawning a new thread for each buffer just allocate the
   buffer_info struct and assign it to one of the per-cpu threads in ustd to
   poll on.

4. Replace poll with epoll which scales better, especially for
   events << (nr of fds). This is complete.

5. Allow UST to handle arbitrarily long unix socket names. This is done by
   carefull allocation of the socketaddr_un struct with a dynamic length.
   Truncating is ugly and dangerous.

There is a lot of work still left to be done. This is only the first of a
number of patches that I expect in this area. If someone feels like tackling
ustd head on to reduce the number of threads that would be great.

I have kept Pierre-Marc's form of error handling for the I/O wrapping functions
because I want to propagate return codes up to the apps that are using them
so they can close file-descriptors and free associated resources. If somebody
knows of a better approach please make yourself heard.

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>
Acked-by: David Goulet <david.goulet@polymtl.ca>

Fix a strange bash anomaly in test_functions.sh

If anybody has time time to investigate this that would be great.
Unforunately, I don't.

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>

fix sscanf format string v3

Signed-off-by: Douglas Santos <douglas.santos@polymtl.ca>
Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

tracectl cleanup v3

kernel style-> if, else, for, while
also remove a trailing space

Signed-off-by: Douglas Santos <douglas.santos@polymtl.ca>
Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove unused code

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Acked-by: Nils Carlson <nils.carlson@ericsson.com>

Syntax cleanup

Replace spaces by tabs and remove trailing white spaces

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Acked-by: Nils Carlson <nils.carlson@ericsson.com>

Change code for consistency

Use the kcompat stringify header for double level
stringification for markers section.

Also use the GET_MARKER macro for uniformity across the code.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Acked-by: Nils Carlson <nils.carlson@ericsson.com>

null check for disable_marker

Signed-off-by: Douglas Santos <douglas.santos@polymtl.ca>
Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Correct error handling and add error message in ustcmd.c

Signed-off-by: Nils Carlson <nils.carlson@ericsson.com>
Acked-by: Douglas Santos <douglas.santos@polymtl.ca>

Add functions and command line for listing trace_events v3

Changes from version 2: Fix a comment.

Changes from version 1: Fix silly things per Davids comments,
realise that we are looping over pids and therefore need to set
all pointers to NULL and all counters to zero each time.

Add trace_event library initialisation

Add library initialisation with dummy trace_event in order
to create sections.

Add trace_event structs

Add trace_event structs, registration functions and trace_event
iterator and locking functions.

Set the exit status of ustctl main function v3

Each possible command checks the return value and, on error,
print on stderr and set the retval. This makes ustctl return
an EXIT_FAILURE on any command that fails.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix missing parenthese around logic comparison

Error introduce in commit number 9dec086e052cf7f583a3afaa3aab48a6de8d38ac.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix DBG to ERR for data format mismatch

Signed-off-by: David Goulet <david.goulet@polymtl.ca>
Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix return value handling for libustcmd

Return value was not checked correctly so this was
triggering a free() on an invalid pointer causing
ustctl to fail badly.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Change malloc to zmalloc for libust

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix missing data pointer for trace_mark_tp v2

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix retval value assignment on error

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix asprintf and scanf ignoring return value

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Fix a broken test makefile

The makefile was missing the header file in the sources list and
so was failing make distcheck.

Update test-case for tracepoints and add a new test-case

Update the test-case for probes to handle a new data pointer
in the probe function. Also add a new test-case that stress-tests
probe registration and unregistration.

Add a data pointer to all tracepoint probe callbacks

RCU now dereferences an array of probe structs containing data pointers and
function pointers, and passes the data pointer as the first argument to the
probe.

Due to this change void prototypes are no longer allowed, which has incurred
changes to libust-initializer.c .

This patch also fixes a problem where non-existent tracepoints are present
in the __tracepoints section and with a name pointer pointing at NULL.

Add a simple test case for TRACE_EVENT v2

The test case is useful for verifying compilation of the simplest
possible TRACE_EVENT.

Changes since version 1:
Added copyright notices
updated run with UST_AUTOCOLLECT per Davids comment.

Import TRACE_EVENT macro from the kernel v3

This is a slightly modified version of the TRACE_EVENT
macro from the kernel, TP_printf has replaced TP_printk.

The TRACE_EVENT macro expansion is currently a dummy which
only expands to a printf probe, connected in a constructor.

Changes since version 2:
Added re-licensing information
Macro naming is more consisten (always contains trace)

Changes since version 1:
Added new headers to include/Makefile.am
Added major copyright holders and license information to headers.

Add LGPLv2.1 license text

update ustctl man page

Final updates for release 0.7

Changes malloc to zmalloc

For libustcomm, libustd, ustctl and ustd.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Removes useless ___cacheline_aligned

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Updates Changelog for UST version 0.6

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

UST strncpy assert fix

fix off by one in strncpy and write asserts(). Shows only when the event
reserved fits the exact end of buffer.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

properly install libustd and libustcmd

don't install libustcomm and libustsnprintf

These internal libraries should not be exposed to users and were
only installed by mistake.

remove dependency on ustcomm.h where possible

ustcomm structures are replaced with pointers so the compiler doesn't
have to know the contents of the structures. This is done so ustcmd.h
and libustd.h can be installed on a system without needing to install
ustcomm.h.

remove unused variables

Final updates for release 0.6

serialize string input robustness

Make sure we handle concurrently modified input strings gracefully.

Adds ust_buffers_strncpy interface. It fixes up the string if it does not fills
exactly the space allocated. Ensures the string ends with \0.

Removes unused "_ust_buffers_write" at the same time.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

UST synchronization fix

Missing smp_wmb() at subbuffer switch.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

fix invalid array access

reported by Damien Cottier

ustctl manpage: document force-switch

add a command to force subbuffer switch

remove ltt_relay_buffer_flush function

All it did was call ltt_force_switch and wake up consumers, when
ltt_force_switch already wakes up the consumers.

ustctl manpage: document get/set-sock-path

add get/set commands for daemon socket path

create libustd from ustd

This makes libustd a library containing the core functionality of
the daemon, and ustd a simple client application using this library,
interacting with it via a set of callbacks supplied to it.

add paranoid check before listener thread destruction

In case a pthread error prevented its creation.

define ____cacheline_aligned

Fix directory creation mode. Unless umask is set to 0 the default umask of the system, commonly 022, will be used and thus it becomes impossible to get the 777 mode.

UST marker.h

Modification nécessaire pour faire des custom probes avec trace_mark_tp.
Sous la recommandation de Michel et Mathieu, il était mieux d'utiliser
cela pour les tests de profilage que des trace_mark ou des tracepoints.

Ceci étant dit, les résultats avec un test de profilage que j'ai monté,
contenant 3 tracepoints, le average perevent était de ~65ns.

Maintenant, résultats préliminaires avec les custom probes sur le même
test suite que les trace_mark et tracepoints :

Average time per event                  : 0.0000000159 (sec), 0.00002
(msec), 0.01587 (usec), 15.86718 (nsec)

Best time [RUN 5]                       : 0.0000000154 (sec), 0.00002
(msec), 0.01536 (usec), 15.35519 (nsec)
Worst time [RUN 6]                      : 0.0000000166 (sec), 0.00002
(msec), 0.01659 (usec), 16.59236 (nsec)
Standard Deviation                      : 0.0000000004 (sec), 0.00000
(msec), 0.00038 (usec), 0.38116 (nsec)

Quand même! ;)

Bref, je continue mais si tu veux commenter ou proposer des tests, fait
moi signe.

A plus
David

From e1fc903e0cedfc21895b2ad952bb6127d0b3b853 Mon Sep 17 00:00:00 2001
From: David Goulet <david.goulet@polymtl.ca>
Date: Wed, 23 Jun 2010 17:04:45 -0400
Subject: [PATCH] Fixed __trace_mark_tp_counter with the usage of
 DEFINE_MARKER_TP macro. Down to 5 arguments instead of 7
 and added registers struct missing. Now, custom probes
 can be used within UST with trace_mark_tp function

Removing NO_IPI ifdef for memory barrier. The smp_wmb should be used all the time here.

Signed-off-by: David Goulet <david.goulet@polymtl.ca>

Final updates for release 0.5

update doc for next release

fix regression of GDB support

Address of marker was not reported correctly. Fix by Pedro Alves.

tracectl.c: add description comment

update READMEs

add info about what dirs/files are doing

add environment variables to set subbuffer options

UST_SUBBUF_SIZE and UST_SUBBUF_NUM control respectively the size and
number of subbuffers. Options -S and -N in the usttrace script also
control these parameters.

update README

make RUNLTTV configurable in trace_matches

update -W help in the usttrace man page

Changes testcases in runtests to use TAP

TAP - Test Anything Protocol is an easy to parse test protocol.

update manual