Add a README for the clock synchronization code

This README describes the principles, usage and design of clock
synchronization in LTT.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Make the synchronization module interfaces more generic

Instead of taking NetEvents and Packets, public interfaces take Events,
Messages and Exchanges. These are specialized into other structures for TCP.
This is to support the eventual integration of algorithms based on other event
types, like UDP.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add a unittest program for clock synchronization modules

Allows to test matching and analysis modules with data read from text files.
Includes some sample data for simple good and bad (unsynchronizable) cases.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add convex hull algorithm-based synchronization

This analysis module implements an algorithm that provides a garantee that the
synchronization will not result in inverted messages. It is now the default
algorithm, over linear regression.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Do not use pkfree_skb events for synchronization

Don't rely on events indicating when sk_buff structures are freed. After a
receive, we wait for another event indicating that this receive was for TCP
data. In the case where the data was not TCP, instead of keeping information
about the receive, we used to discard it when the skb was freed.  It turns out
that it faster (and simpler) not to look at pkfree_skb events and keep the
information around anyways. Since sk_buff's are allocated in a pool, the
information will get overwritten and the size of pendingRecv will not grow
infinitely.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Split the synchronization code into modules

Separates synchronization code in processing, matching and analysis modules.
There is also a "sync-chain" that coordinates module creation.

Adds a "--sync-null" option, mainly for performance evaluation.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Graphical mode synchronization

Hooks the trace synchronization code in lttvwindow. This allows to use trace
synchronization in graphical mode when lttv is started with the "--sync"
option. Unfortunately, the viewer interface "freezes" while the
synchronization code is running. This can take a noticeable amount of time
(more than a minute) for large traces.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Text mode clock synchronization

Adds linear regression based clock correction of a group of traces. This is
mostly a reimplementation of the work presented in
[1] Clément, E.: Synchronisation de traces dans un réseau distribué, École
Polytechnique de montréal, 2006

This implementation does not use a synchronization "window" and timeouts as
described in figure 3.3 of [1]. Not using that algorithm, we don't have to
rely on the system time to be loosely synchronized; events can be processed
regardless of the order the traces are merge-sorted. The downside is that
there is no limit to the number of events that could be queued up, waiting for
their matching event from another trace. The solution to this would be to
insert extra logic (like a plugable module) that controls the merge-sort;
upstream of event delivery to the syncrhonization code. Many possibilities
come to mind:
1) reimplement something like what is found in [1] that relies on system time
for a weak pre-synchronization
2) use a heuristic based on the size of the current queue for each trace in
the synchronization code. If a trace's queue is growing and growing, deliver
events to other traces.

This implementation also does not need to keep track of the IP adresses
assigned to local interfaces. If a packet is processed by the network
subsystem it can be used for synchronization. There is no need to know if the
node really the packet's final destination.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Add members to LttTrace to support time adjustments

Adds a function to convert tsc values to nanoseconds.
Adds drift and offset members for linear clock correction.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Revert "sync frequency of all traces with the first loaded"

This reverts commit 9c731a505cf0d0ded02f8e90a823fa90084c7740.

Conflicts:

ltt/branches/poly/ltt/tracefile.c

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update version

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Temporary fix for large IRQ tables

IRQ tables, trap tables and softirq tables can grow. The copy mechanism for
these is not correct when saving/restoring state, because it uses always the
name table size (which grows) to copy the saved/restored state snapshots.

We should change the g_new allocations for g_arrays, and use the array length as
boundary for the copy rather than the name table len.

TODO / FIXME !

I currently increased the initial irq name table size to 512 to deal correctly
with ARM. This is a dumb temporary fix.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update version

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

state.c coding style fix

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

wakeup wait for cpu display

Here's a slightly more constructive patch: this one adds support in
LTTV's generic state monitoring code and its control flow visualiser to
note when a process is woken by another process using the
sched_try_wakeup event.

Previously the woken process would continue to register its old state
until such time as it got scheduled; here the process transitions to
WAIT_CPU state (like preempted processes, indicating it is ready to run
but not currently scheduled). Ordinarily we see this state exist very
briefly, in between the device driver IRQ (typically) clearing it to run
and the scheduler invocation after irq_exit, but on a heavily loaded
system we might see a large stripe of dark yellow indicating the process
is ready but cannot yet be allocated a core.

The new code in controlflow/eventhooks.c is essentially a copy of the
second half of before_schedchange -- it would be nice to factor these
two and before_execmode, all of which basically identify a process,
create state objects if necessary, and draw his line up to a certain
time.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

make lttv runnable from anywhere

Icons however can't be found when they are not installed and runlttv
is run from an arbitrary directory.

Add pixmaps shortcut

This shortcut is used by runlttv

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Fix help text

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Ignore configure.lineno

Generated by autoconf in shells that lack $LINENO

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update version

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

LTTV trace control bug fix

Chris Smowton <cs448@cam.ac.uk>:

...whenever I tried
to start a trace using the GUI, it would freeze consuming 100% CPU after
I clicked "start". Turned out this was because in tracecontrol.c's
start_clicked callback, you poll(2) on an FD and use a switch()
statement to handle its return.

Unfortunately, poll(2) doesn't work that way -- it returns a *mask* of
bits, not a single value. Here poll was returning POLLIN | POLLHUP to
indicate there's data ready and the FD has been closed by the other
side, and since this != POLLIN and != POLLHUP, the poll loop spins
forever.

Attached is a patch to be applied to tracecontrol.c which fixes it to
check for set-bits instead. It's still strictly broken, as the read(fd,
buf, 256) call might not fully drain the child's output, but it's a step
in the right direction and means I can at least use the trace-control
thing.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Fix variable sized sb, update version

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Fix alignment modification

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Support variable sized subbuffers

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update version

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Update trace format to 2.4

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Update version

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Change __SIZEOF_LONG__ for __WORDSIZE

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Remove bashisms in runlttv

Found using 'checkbashisms'

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

put a little sanity in pixmap installation

This makes pixmaps uninstall correctly and puts them in DATADIR/pixmaps/lttv.

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Fix shady indentation

What are you trying to hide?

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Fix use after free of "filter/expression" attribute

As evidenced by Valgrind:
 Invalid read of size 4
    at 0x402E248: process_traceset (batchAnalysis.c:103)
    by 0x80558E5: lttv_hooks_call (hook.c:272)
    by 0x8053596: main (main.c:219)
  Address 0x4cea1b8 is 88 bytes inside a block of size 256 free'd
    at 0x4024D47: realloc (vg_replace_malloc.c:476)
[...]
    by 0x402E204: process_traceset (batchAnalysis.c:97)
    by 0x80558E5: lttv_hooks_call (hook.c:272)
    by 0x8053596: main (main.c:219)

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Move "active" code out of debug statements

Certain g_assert() statements contained expressions that modify the rest of
the program state (eg. modifying variables). As stated in the GLib reference,
g_assert() is a macro that can be compiled out. This would change the behavior
of an otherwise correct lttv.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Add headers to makefiles, fixing make dist

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update version

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Fix name table expend in state.c

Actually, looking back at state.c, I noticed there was a major problem
with name table resizing:

the top level pointers were copied from the name table structure to the
trace context, so when the tables were resized, the trace context was
not updated and still refered to the old tables. This is why we could
not free the old tables upon resizing.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Update lttng manual for new tracepoint.txt location

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

runlttv: Add options to specify LTTV options

It is possible, from .runlttvrc:
* to modify the list of modules loaded in text mode or in graphical mode while
  still honoring the mode specified in the runlttv command line
* to change the default mode while still honoring the mode specified in the
  runlttv command line

from the command line or .runlttvrc:
* force the mode
* specify traces
* specify options that go before (eg. -v) or after (eg. -h) the list of
  modules

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Trivial fixes

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

Fix bad conversion bug about 64bits computer.

configure.ac: clean

Handle "first event" better and fix for 64bits.

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

configure.ac: clean

Changed a bad description for a compile flag.

Changed the same of some flags to use "--with" for all of them.

runlttv: use cmd line arguments instead of environment variables

runlttv: Specify path of .runlttvrc

Use the path of the runlttv script to source .runlttvrc. This allows using
runlttv from a directory other than the one where .runlttvrc resides.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

configure.ac: cleanup

Fixed small bug about missing space in CFLAGS

Fixed bug with "--disable-lttv-gui" flags.

Added back JNI.

Reimplemented build option into new repo.

Fix use after free of name_tables

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

tracefile.c: check that timestamp seconds do not overflow an unsigned int

If it does, there will be display problems.

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

runlttv: add textdump mode

Do not initialize times before the frequency has been read

Do not calculate bogus begin and end values. Instead, skip that section of
code until the trace header has been read.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

lttv: Add option for "massif" heap profiling tool

Valgrind rules!

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

lttv: Change "dbg" option in runlttv

Change the "dbg" option to "gdb" for more homogeneity: `valgrind` and `strace`
are specified by the tool name, not by its function. This allows adding an
option for another debugger.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

lttv: Extra arguments in runlttv

Here's an alternate take on specifying extra arguments for LTTV in the runlttv
script. They are specified on the command line after the optionnal "helper"
program name. This is more in line with the way commands like `xargs` take
extra arguments for the executable they invoke.

Signed-off-by: Benjamin Poirier <benjamin.poirier@polymtl.ca>

update compat

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

Update manual for ldconfig

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@polymtl.ca>

add fsm checker by Gabriel Matni