ansible: Update kernel build dependency to lttng-modules

Ubuntu-5.15.0-77.84 fails to build if cpio isn't installed

Change-Id: Ia64ee0b70a7fa88b5d866c1ad35e5cc433cb514f

jjb: Correct ubuntu kernel builds on Debian nodes

Change-Id: I9dd798548cc60611e2288cc3f56486a3ea04905a

ansible: Install gcc-riscv64-linux-gnu on Debian-based distros

gcc-riscv64-linux-gnu is available for most arches since Ubuntu bionic
and Debian bullseye. In earlier releases it was only available on
amd64/i386 platforms.

Change-Id: Ib7c0c5ce8dc4fd3c361ade18ece08129ad27df6e

jjb: Support s3cmd 2.3 in lttng-modules build

Change-Id: I628954139b075160f84ea1fd9acd8125d9e6b410

jjb: Search for all available gcc binaries when selecting compiler

In searching through $PATH, the list of compiler versions to check
doesn't need to be manually maintained

Change-Id: I49f6a92e9319fc15cc8c31ff0ec7f458f355a709

ansible: Install gcc-4.8 on Debian compiler nodes

gcc-4.8 is used for compiling legacy kernels

Change-Id: Iaea9e12e91af68bdf1b7caa39bb5afb71e161da0

lava: Update PDU port for cloud08

Change-Id: I0aab812a5cd96f541bcfab342d893556fc522568

ansible: Add rootnodes in new cluster

Change-Id: I3fcb71c3d84c82b570a5411747effe8bc17d4736

jjb: Add deb12-amd64 platform to linuxbuilds

Change-Id: I90921f505d4a6c3bdb38b7e0db3482ac7ca92317

ansible: Remove uuid set for ci-rootnode-deb12-i386-01-01

When the UUID is set, each time ansible is run the
community.libvirt.virt task will run and attempt to update the XML
definition of the virtual machine.

However, each time this happens the MAC address is changed. This
causes the VM to no longer get the expected IP address via DHCP.

If a new release of community.libvirt.virt sees the light of day, the
mutate option to keep the MAC address for interfaces could be tested
to see if it solves the problem we're seeing.

C.f https://github.com/ansible-collections/community.libvirt/commit/c4fe15801de0a1b61456acc8d2a5a704b0fe6ea5

For the moment, no changes to the XML template or settings are
expected for the VM, so removing the UUID is the simplest way to avoid
this issue.

Change-Id: I290999111da0eb29ccc856e55cd348da35e48df2

Remove unused kernel build scripts

These scripts are superceded by lttng-modules/param-build.sh for
lttng-modules and build_kernel_PARAM for system tests.

Refs #1499

Change-Id: Ide19802735ff28747ef79124fd5145bc2c86af73

Remove proxy from preseed

Refs #1499

Change-Id: I98fe68acebd93fef1f2b48994cc3720aa314963f

ansible: Update path for downloaded ISO images

/var/lib/libvirt/images isn't world-readable by default. The ISOs are
meant to be readily accessible as they should be used read-only.

In the cases where VMs are run as unprivileged users (eg. with lxd),
/var/lib/libvirt/images/*.iso isn't readable. Rather than loosening
the mode on the images folder, the ISOs will be in a directory
that is world-readable by default.

Change-Id: I056c290e5b88f0baaa52eaf749d4f29b53dbb8af

ansible: Add new CI hosts

Change-Id: I745cf88af108dc60e0cadfe417083409a20cb32a

ansible: Install prometheus-node-exporter on hosts

Change-Id: I8ccb421fb39e9b5f7b2f93e54cae0d508676f74b

ansible: Install intel or amd microcode on physical hosts

Change-Id: I097ce36e0cbe1cea7e83876a7d13727120b49f47

ansible: Use archive instead of release for debian ISO URLs

The archive URLs are stable and shouldn't change with time. The
release URLs will no longer be valid when a new minor release happens

Change-Id: I14713bd2b1f9651acad16606926ad57b33013129

jjb: lttng-tools: remove proc-cleaner from macosbuild jobs

Macos runs a lot of user processes which the proc-cleaner plugin tries
to kill, don't use it on macosbuild jobs.

Change-Id: I84a21cb3ee4b72223de9e157f6e336d25c8faada
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Check internal links on babeltrace.org before deploy

Change-Id: Icf09e3e9d7cedde87dffa0ff264b98295a7a337b

jjb: Check internal site links on lttng.org before deploy

Change-Id: I4811b7dc6b9cd988a50e1ce23eb7d7519dc20804

jjb: Check internal site links on efficios.com before deploy

Change-Id: I56b36751928d7b06f9d598566ddb0c0cf715287c

jjb: lttng-ust-benchmarks: move repo to lttng org

Change-Id: I6608dc4fc87d4e9237f99105db7c323c0a035838
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: lttng-tools: remove process cleaner from rootbuild jobs

Since 'rootbuild' jobs run as root in ephemeral VMs, it doesn't make
sense to try to kill all root owned process at the end of the build.

Change-Id: I814c31a40c9396cf5f96ae3310b14fe987cf546a
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Build & deploy lttng-www using jammy rootnode

For compatibility reasons, the job was designed to run against the
bionic node. It recently started failing to build since the
sass-embedded version was pinned to 1.53, and various artifacts
related to building it could no longer be fetched from maven.org.

In the process of unpinning it, changes were done so that the project
can be built on jammy.

Change-Id: I9084939fc2222dc6d0b8229790d9968127975ec3

ansible: Rename deb11 hosts to deb12

Change-Id: I2fa9726f90890500706a7c8ab713daafc640232e

ansible: Install linux-headers on standalone (root) nodes

Required for lttng-tools rootbuild jobs

Change-Id: Id9c9cd6ae4874dcce41190bf42e4d7067be4d745

jjb: Remove jobs targeting Debian 11

Change-Id: I4e3f9fcea36ea54791fc476d7fe5ae0f5f5d3810

jjb: Immediately remove currentJobs with null build

In 9ee19c2b8f8af895460c3cc132282a9f85ec27dd, jobs ended up getting set
as 'Cancelled' if LaunchJob returned null instead of a Job
object. Those cancellations meant that the entire result of the
trigger was set to 'Aborted', masking otherwise successful runs.

This commit changes the behaviour slightly by prunning entries with a
null build immediately after the jobs are queued. This means that jobs
that couldn't be found by name don't cause the build to be flagged as
'Aborted'.

Change-Id: Ie76bb7bf05625eb541b0abdf0f05e95eb2d740c4

ansible: Force dpkg configuration during release upgrades

This stops the installer from prompting for user decisions during the
various upgrades. Using confnew instead of confold risks breaking
configuration, but we largely use default configurations choosing the
new one means we don't have to go over all the diffs manually.

Change-Id: I754ec43fa35e23050659961ccbadf404ed7838cc

ansible: Add optional play to replace common hostname patterns during release-ugprades

Change-Id: Id60d624b91fd6e66347017f337b4048a319ac1c5

ansible: Cleanup debug statements in release-upgrade playbook

Change-Id: I86fe5b5f8a4e6849294cb5c19c919926c083db7c

ansible: Refactor and rename release upgrade playbook

In the end, The 'when:' at the play level wasn't a valid construct for
ansible. To more easily control which tasks are run based on the
ansible_distribution, the Debian specific tasks have been grouped
together in to a separate file which is then included only if
ansible_distribution is 'Debian'.

Change-Id: Iddeeb2da3682b16c4f22ccb179ddc9e40997de3e

ansible: Add deb12-armhf ci nodes

Change-Id: Ia4c2b9913ad553bddc304db918e3cecfc94cf7cf

ansible: Add deb12-armhf CI nodes

Change-Id: Ice84fc6222ff1d3a54a360258dc25bce66dbf2f7

jjb: Add builds on deb12-armhf platforms

Change-Id: Ifdde6d42ade22633a330f06367b7972fce841594

jjb: Add builds on deb12-arm64 platforms

Change-Id: I510290a3612ab7ffcd15eca79ed0492f4dbfa5a7

ansible: Add new rootnode for debian12 / i386

Change-Id: I488c6c7390d5f3d90ccd4abc7a70a721a4e3ea6f

ansible: Add default cross-compilers for Debian-based distributions

When deploying a new rootnode with Debian 12, the playbook failed
since no file matching the options defined in 'Include OS-specific
variables.' task in `roles/cross-compilers/main.yml` could be found.

Change-Id: Ia360ef42e16c16dd38e8ddb9d11db6ace589b7f4

ansible: Download CD images for Debian bookworm amd64 and i386

Change-Id: Ia35071b801fce99d11023d7f997480d6115057b4

jjb: Add deb12-i386 hosts

Change-Id: I5b1b9ffc37676ffbbe6f47e28b4e2b5aa75152f3

ansible: silence warnings in dist-upgrade playbook

Change-Id: I61cc2d88da6d72515089f6746730ff26f197ab8a

jjb: temporary fix for python layout on deb12

Revert the change to 'DEB_PYTHON_INSTALL_LAYOUT=deb' which also changes
'site-packages' to 'dist-packages' which is debian specific.

Instead, temporarily add the incorrect 'local/$LIBDIR' to the
lttng-tools PYTHONPATH while we work on a fix for the build system of
the affected projects.

Change-Id: I662295ae48973eff0864377f58c915edf9ded941
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

wip: smokebuild

Change-Id: Id83224e273fedc94eb5ef57a0bdbfc4919c085fa

wip: riscv64

Change-Id: If01b8f249d6d3ec15f3c44bcd76c77a55a9fc8c7

jjb: set python install layout to deb

The default install layout for user built python modules has changed in
Debian 12 to add a 'local' dir to the prefix. Force the traditionnal
system layout by exporting 'DEB_PYTHON_INSTALL_LAYOUT=deb'.

Change-Id: I0d684be831a8deaf49dc486d6850dba3c8267be2
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: Install and configure unattended-upgrades on Debian and Ubuntu

The unattended-upgrades are disabled by default on CI nodes.

Change-Id: Ifa86ae3fad626a69dcbfbf5829032fb3820128b3

ansible: Add playbook for Debian major version upgrades

Useful when recreating the node from scratch isn't a quick option

Change-Id: I5ebd413604a0f0f48474c205ae88a8a7bf99c2ee

jjb/ansible: Replace deb11-ppc64el with deb12-ppc64el

Change-Id: I31a439040f6313d8ac419c7001150d9985f014c4

lava: Add missing popd to kernel tasks

The `popd` step was removed in
cf1271bb7a11cb708178043db11c0503f604a042

Change-Id: If18bf7f8f36cfdec8eb95b8c4c3dac9dbe051495

lava: Use absolute directory for coredumps

If any of the scripts or tests modify the working directory in an
unexpected way, assuming that the coredump is relative to the working
directory will cause the jobs to fail.

Eg. https://lava-master-03.internal.efficios.com/scheduler/job/491

Change-Id: I0e6a71c1632109c5b62043dff20df587d81dd943

jjb: Do not create system tests with lltng 2.12 on linux >= 5.18

Change-Id: If7a2eea3198f4c1f4f196dd4dd2065753f7e7adc

jjb: lttng-tools: Add process cleaner plugin

Use the process cleaner plugin before and after jobs to clean possible
leftover processes that could interfere with the test suite.

Change-Id: I13af079244cbafde65f9c85f7c66d604fbfa2669
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: split common and common-node roles

To keep the roles self-contained, split the 'common' role into a
'common-node' role.

Change-Id: Ifade97c647cc0e9b480d765caf02a225397de6da
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: common: move root user logic to users.yml

Change-Id: I3d723d81fe25993a18736b5eea619987edd7c7e4
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jj: lttng-tools: Add aarch64 el builds to stable-2.12

Change-Id: Ic173a831a6ccfc5aeb31017ee612a53b62cc2f7a
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jj: lttng-ust: Add aarch64 el builds to stable-2.12

Change-Id: I5b3e22f4a875cbec6e5ac13db00ecea5c8cf616c
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge "jjb: Add job to build and deploy efficios.com"

jjb: Add job to build and deploy efficios.com

Change-Id: Ie61384f0c99bdf0ffab57b7156296c5f3ca59362

Merge changes from topic "jjb-system_baremetal_crash"

* changes:
  jjb: Add system test for linux-6.1.y
  jjb: Fix crash when trying to launch a job that is not defined

ansible: Deploy jenkin's SSH public key to standalone nodes

If ansible is run against any standalone nodes, the public set in
/root/.ssh/authorized_keys will be removed, and new connections will
fail until the VM is reset from the base-configuration snapshot if it
exists.

When deploying new nodes, ensuring the key is in the root user's
authorized_keys file in the first place avoids creating snapshots that
aren't accessible by the jenkin's user.

Change-Id: I37cc8e804aa4dea649df1558ccf8290d5df6be6f

ansible: Deploy public key for lava-master-03 to cloud06

When ansible is rerun against cloud06, the public key for the root
user of lava-master-03 was being removed, causing lava jobs to fail as
they could not connect to run virsh commands.

C.f. https://lava-master-03.internal.efficios.com/scheduler/job/502#action_2-3-1-1

Change-Id: I7b7986fa34d8925468ed962c598f73c0bd78b823

jjb: Add system test for linux-6.1.y

Change-Id: I6c5fa2847c1ab3e2985e36de7725fd73f4367d0d

jjb: Fix crash when trying to launch a job that is not defined

Original error:

```
Launching job: baremetal_tests_kmaster_lmaster
ERROR: Build step failed with exception
java.lang.NullPointerException: Cannot invoke method getProperty() on null object
at org.codehaus.groovy.runtime.NullObject.invokeMethod(NullObject.java:91)
at org.codehaus.groovy.runtime.callsite.PogoMetaClassSite.call(PogoMetaClassSite.java:47)
at org.codehaus.groovy.runtime.callsite.CallSiteArray.defaultCall(CallSiteArray.java:47)
at org.codehaus.groovy.runtime.callsite.NullCallSite.call(NullCallSite.java:34)
at org.codehaus.groovy.runtime.callsite.CallSiteArray.defaultCall(CallSiteArray.java:47)
at hudson.model.Job$getProperty$0.call(Unknown Source)
at Script1$_run_closure8.doCall(Script1.groovy:273)
...
```

After applying this correction, a run with undefined jobs would look
like this:

```
Launching job: baremetal_tests_kmaster_lmaster
Failed to find job by name 'baremetal_tests_klinux-6.1.y_lmaster'
Launching job: baremetal_tests_klinux-5.15.y_lmaster
...
```

Change-Id: Idedb693816c4928a5318397a724a6096dd544f7d

ansible: Add ci-rootnode-jammy-amd64-07-01

Change-Id: I850affdc72ca953abc9853d6531553fc5525e548

ansible: Manage libvirt on CI 'hosts'

Change-Id: I970fe82d65de551ff51568f1ab72c5331cad3e57

lava: Remove redundant destructive tests

The majority of destructive tests are already being run in make check
via run-test-suites.sh. The only case not covered by that script was
the tests in 'root_destructive_tests' in the stable-2.12 and
stable-2.13 branches.

By adding support for that in run-tests-suites.sh, the
destructive-tests.yml can be completely removed from LAVA.

Change-Id: Ied4aceafb222cfe54c20ebff83608f702c1221e6

lava: Update SSH authorized keys deployed to the DUTs

Change-Id: I7d5b5ac31c63763f09c919c6f7fc53fd3fd62119

jjb: Stop testing lttng master against linux 3.18.y

lttng >= 2.14 dropped support for the 3.x kernels

Change-Id: Id7fc81e6c545f04f460d6b65dba18924e0b9cb21

ansible: add mitogen plugin to README

Change-Id: I3425698eec0b24d87334c6b38a728179101c2a89
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: common: Add gcc / g++ on Redhat

Change-Id: I83436f97f96043634589148300b3225a7ececf2e
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: Add physical hosts with minimal common configuration

Change-Id: I32e94782853288021303fb9fd9fbe48afd1c96ee

ansible: add role requirements file

Change-Id: I67ac89edab607c971e688dcdd43f342377a9a125

jjb: Add aarch64 el builds to recent branches of bbt, lttng, and urcu

Change-Id: I7973c1a54e2055cca2907b430ff0ee808b2e4e81

ansible: Change default strategy to mitogen_linear

The default ansible strategy if not set is 'linear'. Using
mitogen_linear results in a significant speed up in runs.

For example, when running the site.yml playbook against
ci-node-el[7-9]-arm64-01 with no other changes between the runs, the
run time goes from ~2 minutes to ~30 seconds.

Change-Id: I47952c2a7d73607248aad71cc6670984aef3804b

ansible: Add new CI nodes for el[7-9] on aarch64

Change-Id: I39883cdb956f3df12a9a1cbf85279445851276db

ansible: Update package installations to support EL aarch64

A number of packages are in the epel-release or the develo
repositories.

Change-Id: I0ad4b2c9dea377c86bbaf00e7631fa223425af08

ansible: Add support for common configuration on Windows hosts

Change-Id: I9f5d9c7f4e58c4e1c55d5e25fe1886abcd8a7f0a

Merge "jjb: Add job to build and deploy bt2 website"

Merge changes from topic "system_tests-trigger_failure"

* changes:
  Update linux branches of interest for system tests
  jjb: Update system_jobs default rootfs URL to jammy
  jjb: Fix crash when launching new jobs from the the system trigger

jjb: Add job to build and deploy bt2 website

Change-Id: I94daca69cf0f44dea3eba9fc5533de5c32458fc5

bt benchmark: Add further ignored commits

ade5c95e2a4f90f839f222fc1a66175b3b199922 and
30341532906d62808e9d66fb115f5edb4e6f5706 fail in the xenial rootfs,
unable to configure with the following error:

```
configure: error: elfutils >= 0.154 is required to use the debug info
feature. You can disable this feature using --disable-debug-info.
```

The rootfs has elfutils, libelf1, and libelf1-dev at a version >=
0.154 and I don't intend to investigate further.

@see https://lava-master-03.internal.efficios.com/scheduler/job/138
@see https://lava-master-03.internal.efficios.com/scheduler/job/144

006c5ffb42f32e802136e3c27a63accb59b4d6c4 and
88488ff5bdcd7679ff1f04fe6cff0d24b4f8fc0c fail to compile with the
following error:

```
param-validation.c:226:30: error: BT_VALUE_MAP_FOREACH_ENTRY_CONST_STATUS_MEMORY_ERROR undeclared
```

@see https://lava-master-03.internal.efficios.com/scheduler/job/136
@see https://lava-master-03.internal.efficios.com/scheduler/job/139

Further commits were added grouped in to two sections: Issues with
elfutils, and other build problems.

Based on jobs ~150-229 on lava-master-03

Change-Id: Ia6a7d60a474a53dd5395ee0cf133b43d3df7ceff

Update linux branches of interest for system tests

Recent branches are master and LTS branches

@see https://www.kernel.org/category/releases.html

Change-Id: Iefbcf9c4e0d0157d4a2374c64c9d37ccac67c2dc

bt benchmark: Normalize indentation around invalid_commits

Change-Id: Ie44f2caeda9fb36c7f46b7f356921a1023e019d9

jjb: Update system_jobs default rootfs URL to jammy

Change-Id: Id58257ba5484ff4542389b4ecad5718cefd6a767

jjb: Fix crash when launching new jobs from the the system trigger

ChoiceParameterDefinition does not have a method getDefaultValue().
However, getDefaultParameterValue() will return null if there is no
default, so the check can be altered.

C.f. https://javadoc.jenkins-ci.org/hudson/model/ParameterDefinition.html
C.f. https://javadoc.jenkins-ci.org/hudson/model/ChoiceParameterDefinition.html

Original crash:

```
ERROR: Build step failed with exception
groovy.lang.MissingMethodException: No signature of method:
hudson.model.ChoiceParameterDefinition.getDefaultValue() is applicable
for argument types: () values: []
...
at Script1$_run_closure8.doCall(Script1.groovy:276)
...
at Script1$_run_closure14.doCall(Script1.groovy:434)
...
```

Change-Id: I8847806b2abb556ff2b89aa772277b1318c507e1

bt benchmark: Ignore commit ae466a6e1b856d96cf5112a371b4df2b732503ec

The commit fails to build. See
https://lava-master-03.internal.efficios.com/scheduler/job/133

```
param-validation.c: In function 'validate_map_value':
param-validation.c:226:30: error: 'BT_VALUE_MAP_FOREACH_ENTRY_CONST_STATUS_MEMORY_ERROR' undeclared (first use in this function)
  if (foreach_entry_status == BT_VALUE_MAP_FOREACH_ENTRY_CONST_STATUS_MEMORY_ERR
param-validation.c:226:30: note: each undeclared identifier is reported only once for each function it appears in
Makefile:466: recipe for target 'param-validation.lo' failed
```

Change-Id: I30f824fde526ed52f0427e233d808780f19d527a

bt benchmark: Collect commits to benchmark into a set

By collecting the the commits in to a set, we can give an indication
in the test runner how many jobs are going to be generated and
the overall progress of the lava job submissions.

The same commit hash may be present in multiple branches, using a set
prevents double checking the same hash twice.

Change-Id: I38a297f4147e4055d40cc462d0fdd7b10df88f46

lava: Run babeltrace-benchmark jobs with /bin/bash

pushd/popd are not available in /bin/sh

Change-Id: I051b305074979bb9e97f5eadab3a9f36ec029c90

lava: Update pdudaemon service unit paths

Change-Id: I2f2b68e3705eb5933ac2720a1f55459f912dbc12

Merge "ansible/lava: Add role for lava server"

ansible/lava: Add role for lava server

Change-Id: I11cbf0ab6e78f9b344c4860d24458e264c7e79c3

lava: Switch default lava-server to lava-master-03

Change-Id: I5307a909c8d65e0d649c2a574fc46dbf172f8f2e

lava: Set default shell for submitted jobs

With the older lava-server installation on lava-master-02, the default
shell was changed by setting `lava_test_sh_cmd` in the base device
type template file
`/etc/lava-server/dispatcher-config/device-types/base.jinja2`.

Rather than setting the value for all devices by default in global
configuration, I think it is best to make the expected shell explicit
in our submitted job configuration. The SHELL environment variable is
read and used by the `lava_dispatcher/lava_test_shell/lava-test-shell`
script to set the interpreter for the tests.

Note: It doesn't seem possible to update the SHELL or
`lava_test_sh_cmd` on a per-test basis.

Change-Id: I7a02f1e76cfc50dfea7925d27609533e831bd221

lava: Parameterize host and protocol settings

Change-Id: I43de2ff73e22ce100b0db08317908198825fd558

lava: Update default rootfs from xenial to jammy

Change-Id: Icf55a111839c246ea4a38ae5f5a6331e769dd299

lava: Update recursive DNS server for babeltrace-benchmark jobs

172.18.0.12 is deprecated, and the recursive DNS service has been
passed to a host on 172.18.0.13

Change-Id: Ie5bb1f319ead34b43d0b327a40f9099b779fc79b

lava: Remove unused submission script for lava 1.x

Change-Id: Ib6283fc7979dcd1e27f2f8e76a786536d5f02bf3

lava: Update LTTng canary version from 2.10 to 2.13

Change-Id: I94d695bb69b9f6ff1f99b8941604ecc84a393053

jjb/lava: Parameterize repo URL and branch for test scripts

This permets us to launch a build with a different repo URL and/or
branch. Without this change, any changes we want to test must be
pushed on to the lttng-ci master branch before the run.

Pass repo URL and branch through to the clone in the setup job as well.

Change-Id: Ie9d45b2285e8e484dd23727278bb87e9c3ddfae2

jjb/lava: Parametrize URL for system-test's root FS

Change-Id: I75f21e32241b1bfe1d0eefc47433294f0fc10b1c