ansible: add gfortran to binutils-gdb role

Change-Id: Ic293786ea56fcebc62d23b1945cc0859fdf9b87d
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: lttng-tools: specify log4j jars in CLASSPATH

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: Ic26375c4e8e01dee22f42780a784f83a2ba5998d

Fix: babeltrace2 needs its plugin path defined

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: I4327bbad07f423c19879f373e42ac9d9fb4ea670

ansible: lttng-ust: Add log4j2 dependency

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: Ibd985bbc4e4984676a67f073fc009e144623ab9e

jjb: lttng-ust: specify log4j jars in CLASSPATH

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: Idd30454e8c7f07398d60b8f778c4904418e7c32d

jjb: librseq: Add gerrit job

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: I89dc38ae5872ff12fdee5e1ba620c814eb55198d

jjb: remove unused linux-rseq jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: I21566306a04a17c2a54201061e18a349c90f0aaf

jjb: lttng-modules: disable objtool on kernel builds

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: I21b9823fd4f53eca1dad54cc0a0939c898ad0001

ansible: Add 'dwarves' package to lttng-modules

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Change-Id: I3e65a092767391c62648c5ab0604efe633afdb81

ansible: Use python3 on all nodes

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: use urcu master targeting ust master

Normally we would want to restrict ourselves to the urcu stable release
here but currently lttng-tools master requires urcu master due to C++.

So when targeting master default to using urcu master otherwise fall
back to the one define in the jjb job definition.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Change-Id: Ib5173b406a0a9c57ac409d5b60ea5073ebdd55de

ansible: add binutils-gdb role to node_arm64

Change-Id: Ib5c18734d3e47882e008b807834055d46a952f97
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Add integration pipeline

Add git-review config

jjb: lttng-tools: not all configs build liblttng-ctl

Add conditionnal logic to handle configurations where we don't build
liblttng-ctl.

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

lava: disable man pages for babeltrace2

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: use babeltrace 2.0 for ust java tests and benchmarks

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

fix: lava: the base vlttng profile have the version in the name

This requires that the overrides mention the correct profile otherwise
the resulting yaml profile is malformed.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

lava: use babeltrace2 for lttng >= 2.14 (master) for testing

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: lttng-tools update stable-2.11 to urcu 0.13 to match ust

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: Update hosts for new debian nodes

jjb: lttng-modules: cap stable-2.11 to linux < v5.15

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge pull request #76 from simark/adele-lupien

Some improvements to the binutils-gdb jobs

jjb: lttng-tools: remove bt stable-1.5 for master and 2.13.

2.13 marks the first release for which babeltrace2 is the official
optional reader dependencies for testing.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: binutils-gdb: filter out some known failures in GDB testsuite

The GDB testsuite is unfortunately known for not being clean.  In order
to get a somewhat useful CI job, filter out all the failures that can be
seen today, so that we can hopefully see the job passing.  With this,
any newly introduced failure will be visible, and not drowned in
pre-existing failures.

The ideal plan would be to work on fixing the tests listed here and
remove them from that list little by little.

jjb: binutils-gdb: collect test result artifacts in gerrit job

This makes it easier to understand what failed exactly, when a try job
has failed.

jjb: binutils-gdb: replace sum2junit script with Python implementation

Merge pull request #75 from simark/readme

Update jenkins-job-builder installation instructions in README

Merge pull request #74 from simark/master

Some changes to binutils-gdb jobs

Update jenkins-job-builder installation instructions in README

jjb: binutils-gdb: disable ASan leaks reporting during "make check"

jjb: update comment on binutils-gdb job

jjb: binutils-gdb: archive testsuite/gdb.log

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Add binutils-gdb base jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Drop barectf i386 jobs

A tox dependency on i386 requires a full rust toolchain.

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: fix deprecated syntax

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: python3-sphinx is installable on RHEL

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: python-virtualenv package renamed to virtualenv

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: replace deprecated '-' in group names

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: update default ansible.cfg

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: default to jdk11

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: lttng-modules: Add liblz4 for newer kernels

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: Install modules deps only on amd64

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Add C++ to print.sh

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

lava: handle reaching max number of retry for submit operation

Reaching the maximum number of retry would lead to:

 Traceback (most recent call last):
   File "/home/jenkins/workspace/vm_tests_kcanary_lcanary/src/lttng-ci/scripts/system-tests/lava2-submit.py", line 322, in <module>
     sys.exit(main())
   File "/home/jenkins/workspace/vm_tests_kcanary_lcanary/src/lttng-ci/scripts/system-tests/lava2-submit.py", line 284, in main
     print('Lava jobid:{}'.format(jobid))
 UnboundLocalError: local variable 'jobid' referenced before assignment

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: depends-on: do not run tests of dependencies

The important part is how lttng-tools behave. Running the tests of
the dependencies is redundant and only leads to wasted time and CPU time.

The RUN_TESTS flag is now "namespaced" to ensure that we can turn on and
off tests for each projects if necessary.

LTTNG_TOOLS_RUN_TESTS
LTTNG_TOOLS_RUN_TESTS_LONG_REGRESSION
LTTNG_UST_RUN_TESTS
USERSPACE_RCU_RUN_TESTS

For now only `LTTNG_UST_RUN_TESTS` and `USERSPACE_RCU_RUN_TESTS` can be
manipulated via environment injection. The lttng-tools build script
is a bit more complex and manipulates the value themselves. More work
will be required if we want to control the flags of the lttng-tools
build script.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: lttng-modules: drop sloccount job

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: lttng-tools: Use urcu master un gerrit jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge pull request #71 from PSRCode/master

jjb: Add "Depends-on: userspace-rcu:" for lttng-tools

jjb: Add "Depends-on: userspace-rcu:" for lttng-tools

While there we can remove some conditional actions based on `conf`
"static" and "debug_rcu", since they are not defined for the gerrit job. It
facilitate the condition handling for `depends-on` handling.

Babeltrace is now always pulled and does not depends on any "$conf"
conditional action.

Since that for the remaining `conf` ("std", "agents", "no-ust") userspace_rcu is
required, use conditional only to handle the `Depends-on` feature.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: Use python3.9 explicitly on MacOS

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: lttng-www: nodejs 15 is deprecated. Use nodejs 16.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: system-tests: stable version parsing is done to late

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: system-tests: canary 2.10 lttng-ust with urcu >= 0.13 is not supported

urcu 0.13 removes the urcu_bp_synchronize_rcu symbols leading to
detection problem at configure time.

[1] https://github.com/lttng/lttng-ust/commit/b94384c0525ff159b7605c8010c8543388f3e71d

The canary is not updated to version 2.11 yet since the above fix is not
yet part of an official release.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: Adjust dep versions of ust and tools for urcu 0.13

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: liburcu: Add stable-0.13 jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Remove urcu 0.10 for ust/tools >= 2.11

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Add lttng-modules stable-2.13 jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

lttng-www: use bootstrap.sh instead of the ubuntu variant

The distributed jekyll version of ubuntu 18.04 is lower than the
lttng-www dependancy of jekyll v4.

Instead use the boostrap.sh script that essentially install jekyll via
`gem install`.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: lttng-ivc: urcu is now handled by lttng-ivc

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: lttng-tools: adjust post-build action to act on failure instead of abort

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: lttng-tools: add clear job description for failed jobs due to timeout

The job description is visible directly on the landing page of a job.

Red and h1 is used to be clear to the dev that the jobs was failed due
to timeout.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Revert "jjb: tools: mark build as aborted on timeout."

This reverts commit 3b9bb48d192c642d57f678220c236ede3814ddb1.

This can lead to confusing situation where an aborted job due to
timeout is cleaned up by the "dev_mjeanson_system_clean" jobs before a
dev was able to have access the job logs. The current threshold for
cleaning up aborted jobs is 2 hours.

The "abort" notion is also used by the gerrit plugin to "abort" ongoing
build for which a new patch is set.

The most simple way to deal with this ambiguity is to revert this patch
and consider a timeout as a proper failure and let the human figure it
out.

A later patch will also add a timeout job description and update all
post-build actions depending on the aborted status.

jjb: lttng-ust: Add JAVA_HOME for openjdk11

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

lttng-tools: executable cannot traverse root directory

The test_ust_notifier_discarded_count_multi_uid tests from lttng-tools
required that an instrumented application launched under a temporary
user be able to access lttng-ust libs in DEPS_LIBS. Since the dependancy
are not installed globally and that root owned directory are not
traversable by default, the apps fail to find liblttng-ust due to
permission setting.

To alleviate this for our CI, simply set the a+x bit on all leading
directly to DEPS_LIBS. This is acceptable under our CI since and the
root jobs since we always reset the work state to a known good state.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

tools: lava: some destructive tests are not part of the make test suite

It is always expected that the destructive tests are only conducted when
the user is root.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

lava: bump jobs timeout to 5 hours

The system tests now run more tests. It is still not clear if this is
pertinent but so far many jobs timeout at 3 hours on the rate limiting
tests.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

lava: add lava-node-amd64-05 device

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Add lava-node-amd64-04 device

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: Add stable-2.13 jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

gerrit: ust: run a lttng-tools build using the gerrit ust change.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: system-tests: create .ssh folder on setup

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: system-tests: move git checkout after network setup

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: systems-tests: wrong file extension. yaml -> yml

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: system-tests: missing space

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

system-tests: improve lava slave ssh capability

The current lava slave setup does not permit easy access to the running
slave once the job is started. This can be cumbersome when a hang
happens. To ease access, setup ssh with authorized keys for the root
user. This is only accessible from internal network.

Split the env setup in two: base and vlttng.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

system-tests: move to babeltrace 1.5 stable

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

systems-tests: canary jobs use custom lttng version string 'canary'

Harcode the resulting version string to "2.10".

We will need to rework this since it is error prone to hard code a
specific version here. We either fix the uptstream or we find an elegant
way to find the tag of a commit for a shallow repository downstream.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

system-tests: Use previous directory

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

system-tests: refactor to allow easier test suites management across lttng versions

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: system-test: 3.18 does not recognize kvm_guest.config

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Use git:// for git-mirror

The http side is not scaled to usage.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: system-tests: kvmconfig is deprecated

Starting in 5.11 with commit:

  commit 9bba03d4473df0b707224d4d2067b62d1e1e2a77
  Author: Masahiro Yamada <masahiroy@kernel.org>
  Date:   Wed Dec 23 15:35:42 2020 +0900

      kconfig: remove 'kvmconfig' and 'xenconfig' shorthands

      Linux 5.10 is out. Remove the 'kvmconfig' and 'xenconfig' shorthands
      as previously announced.

Signed-off-by: Masahiro Yamada <masahiroy@kernel.org>
Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

lava: pip install range not working

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

lava: pip21 drop support for python 3.5

Limit the pip version to 20.3.x. for now.

Ultimate solution here will be to upgrade the base image from Xenial to
latest LTS.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: lttng-www: only keep 5 builds

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: lttng-www: use jenkins credentials to populate known_hosts ssh

This ensure that we deploy to the good host.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Cleanup: whitespace

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: add job for lttng-www auto deploy

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: tools: mark build as aborted on timeout.

This can help identify the cause of the "failure" between test failure
and timeout abort. It also facilitate the classification of  post-build
action.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: tools: add post-build action to gather tap logs

Currently, if a build abort (timeout etc.) we do not gather the tap logs
and this can lead to difficulty in figuring out the causes of the
problem.

The action is performed only on Abort.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

jjb: Bump SLES12 to SP5

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Drop all Solaris jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: jdk is provided by the common role

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: remove scope role from all nodes

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: lttng-modules: remove -Werror

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: lttng-modules: Fix kernel build failures

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: lttng-modules: Add upstream lts filtering

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: lttng-modules: Add mjeanson dev jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Update MacOS jobs for Big Sur and arm64

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>