jjb: binutils-gdb: add email notification publisher

I'd like to receive messages when this job fails.

Change-Id: Ifb1147abc811b2031dc4be9238274c2986038593

jjb: binutils-gdb: update known-failures

Add a few entries to the known failures.  I've been using this for a few
months and it has been relatively stable.  Some of the failures in there
have been fixed, so I should really do a pass to prune what no longer
fails (eventually).

Change-Id: If7c032b41b5fff7eb5268dbbd8f8d075f0eb9b18

jjb: lttng-ust: add FreeBSD gerrit job

Change-Id: I2e0dcffd707702ca5bf30003a5ccef9e767629f4
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

system-tests: simplify root_regression handling

Do not use the version and only rely on the presence of the
root_regression file instead.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: Ia310f561f2d16f513c1c20d9d34a4172ade97908

Fix: test for presence of 'root_regression'

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: I790285adc2854eff42a873f10469565334e4cbb5

system-tests: update system-trigger.groovy tracked versions

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: Ic51358db72c148190f50d31209ecbd2ca4e4b6fe

system-tests: remove EOL lttng versions

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: I7faedea8351c9e9b756e6c4bc173c5d4b78c54c4

system-tests: update kernel and lttng versions to be tested

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: Iba1aa8b6dc0c3434898b286cd8af8e5f7563938b

jjb: lttng-ust-java-tests: properly add stable-2.12

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: I3b596c5c57e4759dcec254db7012d70cd9d7c9c8

Merge "Depends-on: take into consideration the git branch for query and default"

Depends-on: take into consideration the git branch for query and default

Since gerrit cherry-picks have the same change-id the current query
returns multiples objects which is not supported. To alleviate this, we
use the GERRIT_BRANCH to refine the query. This is only valid for
project with the same version/name scheme at the branch level
(lttng-ust, lttng-modules). For now we need to handle this mostly for
those projects, it is quite rare that we need to handle this for
babeltrace and userspace-rcu.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: I5171d89083cbbb94e168158a11c69edebd4a766e

jjb: lttng-tools: Add log4j2 to agents config

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: I1543b06461867db50dd07cf8b5d77e994781dce1

jjb: lttng-ust: Add log4j2 to agents config

Change-Id: I07d29caafc3a4447e14da5daac34bbc983eb5ffe
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: lttng-ust-java-tests: Add filtering for log4j2

The new log4j2 agent will be backported to stable-2.12 and stable-2.13
without support for the new 'log4j2' tracing domain. Prepare jobs for
these branches that filter the tests specific to this new domain.

Change-Id: I6bfc9f44ae2e369b28bb9cdcfca45c340b226e0d
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: add minimal i386 runtime libs on standalone

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: Ifacc97455b1a40adbdd5eb4c8e7b75e98cc8920b

ansible: add minimal i386 runtime libs on amd64

Change-Id: If219b7dba8c7a0abde8f302a3bef90057c3501c0
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: integration: remove dot in recordIssues id

IDs for the recordIssues are now restricted to '[a-z0-9][a-z0-9-_]*',
remove the dots to make Jenkins happy.

Change-Id: I8beeb17de76a183c2ebe90c6c9e57a95a9235c7b
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: lttng-modules: fix kernel build >= 5.17

Starting with 5.17, the 'auto.conf' file syntax differs from '.config'.
Stop overwriting it, only copy '.config' for older kernels where
'auto.conf' is missing.

Change-Id: I917104c0f43fadfc61f292b0b43d3b4cdc6650b7
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: common: add log4j 2.x jars in CLASSPATH

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: I0aa05ade2d09deabcbd72d3ee17be75f5ac48144

jjb: lttng-tools release: specify log4j jars in CLASSPATH

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: I25a9309d1674298c5f04b808a29461997d5a01cc

jjb: lttng-ust-java-tests: add log4j2 agent location

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: Ibf3917e7b7c8728252951013514bf7d712bc00d9

ansible: add gfortran to binutils-gdb role

Change-Id: Ic293786ea56fcebc62d23b1945cc0859fdf9b87d
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: lttng-tools: specify log4j jars in CLASSPATH

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: Ic26375c4e8e01dee22f42780a784f83a2ba5998d

Fix: babeltrace2 needs its plugin path defined

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: I4327bbad07f423c19879f373e42ac9d9fb4ea670

ansible: lttng-ust: Add log4j2 dependency

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: Ibd985bbc4e4984676a67f073fc009e144623ab9e

jjb: lttng-ust: specify log4j jars in CLASSPATH

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: Idd30454e8c7f07398d60b8f778c4904418e7c32d

jjb: librseq: Add gerrit job

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: I89dc38ae5872ff12fdee5e1ba620c814eb55198d

jjb: remove unused linux-rseq jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: I21566306a04a17c2a54201061e18a349c90f0aaf

jjb: lttng-modules: disable objtool on kernel builds

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: I21b9823fd4f53eca1dad54cc0a0939c898ad0001

ansible: Add 'dwarves' package to lttng-modules

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: I3e65a092767391c62648c5ab0604efe633afdb81

ansible: Use python3 on all nodes

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: use urcu master targeting ust master

Normally we would want to restrict ourselves to the urcu stable release
here but currently lttng-tools master requires urcu master due to C++.

So when targeting master default to using urcu master otherwise fall
back to the one define in the jjb job definition.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: Ib5173b406a0a9c57ac409d5b60ea5073ebdd55de

ansible: add binutils-gdb role to node_arm64

Change-Id: Ib5c18734d3e47882e008b807834055d46a952f97
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Add integration pipeline

Add git-review config

jjb: lttng-tools: not all configs build liblttng-ctl

Add conditionnal logic to handle configurations where we don't build
liblttng-ctl.

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

lava: disable man pages for babeltrace2

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: use babeltrace 2.0 for ust java tests and benchmarks

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

fix: lava: the base vlttng profile have the version in the name

This requires that the overrides mention the correct profile otherwise
the resulting yaml profile is malformed.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

lava: use babeltrace2 for lttng >= 2.14 (master) for testing

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: lttng-tools update stable-2.11 to urcu 0.13 to match ust

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: Update hosts for new debian nodes

jjb: lttng-modules: cap stable-2.11 to linux < v5.15

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge pull request #76 from simark/adele-lupien

Some improvements to the binutils-gdb jobs

jjb: lttng-tools: remove bt stable-1.5 for master and 2.13.

2.13 marks the first release for which babeltrace2 is the official
optional reader dependencies for testing.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: binutils-gdb: filter out some known failures in GDB testsuite

The GDB testsuite is unfortunately known for not being clean.  In order
to get a somewhat useful CI job, filter out all the failures that can be
seen today, so that we can hopefully see the job passing.  With this,
any newly introduced failure will be visible, and not drowned in
pre-existing failures.

The ideal plan would be to work on fixing the tests listed here and
remove them from that list little by little.

jjb: binutils-gdb: collect test result artifacts in gerrit job

This makes it easier to understand what failed exactly, when a try job
has failed.

jjb: binutils-gdb: replace sum2junit script with Python implementation

Merge pull request #75 from simark/readme

Update jenkins-job-builder installation instructions in README

Merge pull request #74 from simark/master

Some changes to binutils-gdb jobs

Update jenkins-job-builder installation instructions in README

jjb: binutils-gdb: disable ASan leaks reporting during "make check"

jjb: update comment on binutils-gdb job

jjb: binutils-gdb: archive testsuite/gdb.log

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Add binutils-gdb base jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Drop barectf i386 jobs

A tox dependency on i386 requires a full rust toolchain.

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: fix deprecated syntax

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: python3-sphinx is installable on RHEL

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: python-virtualenv package renamed to virtualenv

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: replace deprecated '-' in group names

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: update default ansible.cfg

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: default to jdk11

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: lttng-modules: Add liblz4 for newer kernels

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: Install modules deps only on amd64

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Add C++ to print.sh

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

lava: handle reaching max number of retry for submit operation

Reaching the maximum number of retry would lead to:

 Traceback (most recent call last):
   File "/home/jenkins/workspace/vm_tests_kcanary_lcanary/src/lttng-ci/scripts/system-tests/lava2-submit.py", line 322, in <module>
     sys.exit(main())
   File "/home/jenkins/workspace/vm_tests_kcanary_lcanary/src/lttng-ci/scripts/system-tests/lava2-submit.py", line 284, in main
     print('Lava jobid:{}'.format(jobid))
 UnboundLocalError: local variable 'jobid' referenced before assignment

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: depends-on: do not run tests of dependencies

The important part is how lttng-tools behave. Running the tests of
the dependencies is redundant and only leads to wasted time and CPU time.

The RUN_TESTS flag is now "namespaced" to ensure that we can turn on and
off tests for each projects if necessary.

LTTNG_TOOLS_RUN_TESTS
LTTNG_TOOLS_RUN_TESTS_LONG_REGRESSION
LTTNG_UST_RUN_TESTS
USERSPACE_RCU_RUN_TESTS

For now only `LTTNG_UST_RUN_TESTS` and `USERSPACE_RCU_RUN_TESTS` can be
manipulated via environment injection. The lttng-tools build script
is a bit more complex and manipulates the value themselves. More work
will be required if we want to control the flags of the lttng-tools
build script.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: lttng-modules: drop sloccount job

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: lttng-tools: Use urcu master un gerrit jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge pull request #71 from PSRCode/master

jjb: Add "Depends-on: userspace-rcu:" for lttng-tools

jjb: Add "Depends-on: userspace-rcu:" for lttng-tools

While there we can remove some conditional actions based on `conf`
"static" and "debug_rcu", since they are not defined for the gerrit job. It
facilitate the condition handling for `depends-on` handling.

Babeltrace is now always pulled and does not depends on any "$conf"
conditional action.

Since that for the remaining `conf` ("std", "agents", "no-ust") userspace_rcu is
required, use conditional only to handle the `Depends-on` feature.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: Use python3.9 explicitly on MacOS

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: lttng-www: nodejs 15 is deprecated. Use nodejs 16.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: system-tests: stable version parsing is done to late

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: system-tests: canary 2.10 lttng-ust with urcu >= 0.13 is not supported

urcu 0.13 removes the urcu_bp_synchronize_rcu symbols leading to
detection problem at configure time.

[1] https://github.com/lttng/lttng-ust/commit/b94384c0525ff159b7605c8010c8543388f3e71d

The canary is not updated to version 2.11 yet since the above fix is not
yet part of an official release.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: Adjust dep versions of ust and tools for urcu 0.13

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: liburcu: Add stable-0.13 jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Remove urcu 0.10 for ust/tools >= 2.11

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Add lttng-modules stable-2.13 jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

lttng-www: use bootstrap.sh instead of the ubuntu variant

The distributed jekyll version of ubuntu 18.04 is lower than the
lttng-www dependancy of jekyll v4.

Instead use the boostrap.sh script that essentially install jekyll via
`gem install`.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: lttng-ivc: urcu is now handled by lttng-ivc

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: lttng-tools: adjust post-build action to act on failure instead of abort

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: lttng-tools: add clear job description for failed jobs due to timeout

The job description is visible directly on the landing page of a job.

Red and h1 is used to be clear to the dev that the jobs was failed due
to timeout.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Revert "jjb: tools: mark build as aborted on timeout."

This reverts commit 3b9bb48d192c642d57f678220c236ede3814ddb1.

This can lead to confusing situation where an aborted job due to
timeout is cleaned up by the "dev_mjeanson_system_clean" jobs before a
dev was able to have access the job logs. The current threshold for
cleaning up aborted jobs is 2 hours.

The "abort" notion is also used by the gerrit plugin to "abort" ongoing
build for which a new patch is set.

The most simple way to deal with this ambiguity is to revert this patch
and consider a timeout as a proper failure and let the human figure it
out.

A later patch will also add a timeout job description and update all
post-build actions depending on the aborted status.

jjb: lttng-ust: Add JAVA_HOME for openjdk11

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

lttng-tools: executable cannot traverse root directory

The test_ust_notifier_discarded_count_multi_uid tests from lttng-tools
required that an instrumented application launched under a temporary
user be able to access lttng-ust libs in DEPS_LIBS. Since the dependancy
are not installed globally and that root owned directory are not
traversable by default, the apps fail to find liblttng-ust due to
permission setting.

To alleviate this for our CI, simply set the a+x bit on all leading
directly to DEPS_LIBS. This is acceptable under our CI since and the
root jobs since we always reset the work state to a known good state.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

tools: lava: some destructive tests are not part of the make test suite

It is always expected that the destructive tests are only conducted when
the user is root.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

lava: bump jobs timeout to 5 hours

The system tests now run more tests. It is still not clear if this is
pertinent but so far many jobs timeout at 3 hours on the rate limiting
tests.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

lava: add lava-node-amd64-05 device

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Add lava-node-amd64-04 device

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: Add stable-2.13 jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

gerrit: ust: run a lttng-tools build using the gerrit ust change.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: system-tests: create .ssh folder on setup

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: system-tests: move git checkout after network setup

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: systems-tests: wrong file extension. yaml -> yml

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: system-tests: missing space

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

system-tests: improve lava slave ssh capability

The current lava slave setup does not permit easy access to the running
slave once the job is started. This can be cumbersome when a hang
happens. To ease access, setup ssh with authorized keys for the root
user. This is only accessible from internal network.

Split the env setup in two: base and vlttng.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

system-tests: move to babeltrace 1.5 stable

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

systems-tests: canary jobs use custom lttng version string 'canary'

Harcode the resulting version string to "2.10".

We will need to rework this since it is error prone to hard code a
specific version here. We either fix the uptstream or we find an elegant
way to find the tag of a commit for a shallow repository downstream.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

system-tests: Use previous directory

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>