jjb: lttng-www: move to deb12 builders

Change-Id: I5e8fe708af25aa568293da6e6b6b9d0e4c87fb4a
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: efficios-www: move to deb12 builders

Change-Id: I39043ae45b5645ac798dce6184812418fe9687d1
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: babeltrace-www: move to deb12 builders

Change-Id: Ib40f6bc968d9830e4f12bccdf89d9253c5efbdb5
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: Correct launcher delegate host for rootnodes

Change-Id: Icd43ee3ad53558d60e0794acb70b00af20ff0935

jjb: Run lttng-tools rootbuilds on deb12-amd64

Change-Id: I392c5a1c681a4f29a0846f1aac16d1cf60c500a0

jjb: Add linuxbuilds for dev_review_lttng-tools

Change-Id: I93adf5f61e62205c347d599465850d1ac01e75bc

jjb: Build kernels with allmodconfig instead of allyesconfig

allmodconfig will reduce the size the the vmlinuz image and the amount
of symbols the linker and other tools (eg. objtool) need to resolve

Change-Id: Iffcdebad808febcee9805570f30f05e0b5f8f2d8

jjb: Correct unbound variable usage error

Change-Id: Id3c37316c88738d04d857b203d24e77f987ed627

jjb: Update JAVA_HOME for lttng-ust FreeBSD builds

https://ci.lttng.org/job/lttng-ust_master_freebsdbuild/200/console
failed with missing 'jni.h' since the JAVA_HOME wasn't set correctly
any longer

Change-Id: I92561ee58d8437d7de12a6eeb9cc2a7cd9088667

jjb: librseq: fix clang job for deb12

Change-Id: I956bd4c257f0017372343090bb296da3a37abe39
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: Add play to run produce known_hosts file using ssh-keyscan

Change-Id: Iaec237bb973d0f94717b24ea624bc87ea701e6e3

ansible: Add new CI nodes

Change-Id: I3fc73df825aecf3905d2c0a701d81bf8bb805d86

ansible: Increase ci-node and ci-rootnode default CPU limit to 8

Change-Id: Iadfa2101c7af589eea2bf97b574583f75b5a455c

ansible: Add and manage replacement git-mirror instance

Signed-off-by: Kienan Stewart <kstewart@efficios.com>
Change-Id: Ib38ceeca6f83b05e975ad7013fcd6d2d52e793f3

ansible: Install linux-headers on Debian x86_64 nodes

These are required for lttng-modules builds to succeed

Signed-off-by: Kienan Stewart <kstewart@efficios.com>
Change-Id: Idc1b1e2e9a5ac97d1810af3bd7c6f7b0dbe8bf67

jjb: Remove 'jammy-amd64' platform from all jobs

The new default platform will be based on Debian 12 (Bookworm), remove
the Ubuntu Jammy platform that was previously in testing.

Change-Id: Ia01cafac13925b8a593d201f5cc1384dd0c8a735
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: zfs tuning

Performance tuning on zfs 'tank', set atime=off and xattr=sa.

Add a dataset for libvirt images with a recordsize of 64k which matches
the default cluster size of qcow2 images.

Change-Id: I4c697f4b984821e4f856daeca569ac07db33cb93
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Derive lttng-modules architecture from platform label

This change updates the URL for fetching built kernels to key them by
build platform. This is done so that it's possible to differentiate a
kernel built on on deb12-amd64 (which will use gcc-12 by default) and
those built on bionic-amd64 which use gcc-7 by default.

An effect of this change is that all the kernels will need to be
rebuilt once the jobs are updated. It may be worth flushing the object
store of the linux kernels as this change is made so files in the old
paths are not kept endlessly without reason.

Change-Id: I96e0e6140827c660012e1264d96a324d8cca8801

jjb: Add dev job for lttng-tools rootbuild on deb12-amd64

Change-Id: I19e6ec6ea527a89fdbee7deca3b4ad914d63b518

ansible: Update kernel build dependency to lttng-modules

Ubuntu-5.15.0-77.84 fails to build if cpio isn't installed

Change-Id: Ia64ee0b70a7fa88b5d866c1ad35e5cc433cb514f

jjb: Correct ubuntu kernel builds on Debian nodes

Change-Id: I9dd798548cc60611e2288cc3f56486a3ea04905a

ansible: Install gcc-riscv64-linux-gnu on Debian-based distros

gcc-riscv64-linux-gnu is available for most arches since Ubuntu bionic
and Debian bullseye. In earlier releases it was only available on
amd64/i386 platforms.

Change-Id: Ib7c0c5ce8dc4fd3c361ade18ece08129ad27df6e

jjb: Support s3cmd 2.3 in lttng-modules build

Change-Id: I628954139b075160f84ea1fd9acd8125d9e6b410

jjb: Search for all available gcc binaries when selecting compiler

In searching through $PATH, the list of compiler versions to check
doesn't need to be manually maintained

Change-Id: I49f6a92e9319fc15cc8c31ff0ec7f458f355a709

ansible: Install gcc-4.8 on Debian compiler nodes

gcc-4.8 is used for compiling legacy kernels

Change-Id: Iaea9e12e91af68bdf1b7caa39bb5afb71e161da0

lava: Update PDU port for cloud08

Change-Id: I0aab812a5cd96f541bcfab342d893556fc522568

ansible: Add rootnodes in new cluster

Change-Id: I3fcb71c3d84c82b570a5411747effe8bc17d4736

jjb: Add deb12-amd64 platform to linuxbuilds

Change-Id: I90921f505d4a6c3bdb38b7e0db3482ac7ca92317

ansible: Remove uuid set for ci-rootnode-deb12-i386-01-01

When the UUID is set, each time ansible is run the
community.libvirt.virt task will run and attempt to update the XML
definition of the virtual machine.

However, each time this happens the MAC address is changed. This
causes the VM to no longer get the expected IP address via DHCP.

If a new release of community.libvirt.virt sees the light of day, the
mutate option to keep the MAC address for interfaces could be tested
to see if it solves the problem we're seeing.

C.f https://github.com/ansible-collections/community.libvirt/commit/c4fe15801de0a1b61456acc8d2a5a704b0fe6ea5

For the moment, no changes to the XML template or settings are
expected for the VM, so removing the UUID is the simplest way to avoid
this issue.

Change-Id: I290999111da0eb29ccc856e55cd348da35e48df2

Remove unused kernel build scripts

These scripts are superceded by lttng-modules/param-build.sh for
lttng-modules and build_kernel_PARAM for system tests.

Refs #1499

Change-Id: Ide19802735ff28747ef79124fd5145bc2c86af73

Remove proxy from preseed

Refs #1499

Change-Id: I98fe68acebd93fef1f2b48994cc3720aa314963f

ansible: Update path for downloaded ISO images

/var/lib/libvirt/images isn't world-readable by default. The ISOs are
meant to be readily accessible as they should be used read-only.

In the cases where VMs are run as unprivileged users (eg. with lxd),
/var/lib/libvirt/images/*.iso isn't readable. Rather than loosening
the mode on the images folder, the ISOs will be in a directory
that is world-readable by default.

Change-Id: I056c290e5b88f0baaa52eaf749d4f29b53dbb8af

ansible: Add new CI hosts

Change-Id: I745cf88af108dc60e0cadfe417083409a20cb32a

ansible: Install prometheus-node-exporter on hosts

Change-Id: I8ccb421fb39e9b5f7b2f93e54cae0d508676f74b

ansible: Install intel or amd microcode on physical hosts

Change-Id: I097ce36e0cbe1cea7e83876a7d13727120b49f47

ansible: Use archive instead of release for debian ISO URLs

The archive URLs are stable and shouldn't change with time. The
release URLs will no longer be valid when a new minor release happens

Change-Id: I14713bd2b1f9651acad16606926ad57b33013129

jjb: lttng-tools: remove proc-cleaner from macosbuild jobs

Macos runs a lot of user processes which the proc-cleaner plugin tries
to kill, don't use it on macosbuild jobs.

Change-Id: I84a21cb3ee4b72223de9e157f6e336d25c8faada
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Check internal links on babeltrace.org before deploy

Change-Id: Icf09e3e9d7cedde87dffa0ff264b98295a7a337b

jjb: Check internal site links on lttng.org before deploy

Change-Id: I4811b7dc6b9cd988a50e1ce23eb7d7519dc20804

jjb: Check internal site links on efficios.com before deploy

Change-Id: I56b36751928d7b06f9d598566ddb0c0cf715287c

jjb: lttng-ust-benchmarks: move repo to lttng org

Change-Id: I6608dc4fc87d4e9237f99105db7c323c0a035838
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: lttng-tools: remove process cleaner from rootbuild jobs

Since 'rootbuild' jobs run as root in ephemeral VMs, it doesn't make
sense to try to kill all root owned process at the end of the build.

Change-Id: I814c31a40c9396cf5f96ae3310b14fe987cf546a
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jjb: Build & deploy lttng-www using jammy rootnode

For compatibility reasons, the job was designed to run against the
bionic node. It recently started failing to build since the
sass-embedded version was pinned to 1.53, and various artifacts
related to building it could no longer be fetched from maven.org.

In the process of unpinning it, changes were done so that the project
can be built on jammy.

Change-Id: I9084939fc2222dc6d0b8229790d9968127975ec3

ansible: Rename deb11 hosts to deb12

Change-Id: I2fa9726f90890500706a7c8ab713daafc640232e

ansible: Install linux-headers on standalone (root) nodes

Required for lttng-tools rootbuild jobs

Change-Id: Id9c9cd6ae4874dcce41190bf42e4d7067be4d745

jjb: Remove jobs targeting Debian 11

Change-Id: I4e3f9fcea36ea54791fc476d7fe5ae0f5f5d3810

jjb: Immediately remove currentJobs with null build

In 9ee19c2b8f8af895460c3cc132282a9f85ec27dd, jobs ended up getting set
as 'Cancelled' if LaunchJob returned null instead of a Job
object. Those cancellations meant that the entire result of the
trigger was set to 'Aborted', masking otherwise successful runs.

This commit changes the behaviour slightly by prunning entries with a
null build immediately after the jobs are queued. This means that jobs
that couldn't be found by name don't cause the build to be flagged as
'Aborted'.

Change-Id: Ie76bb7bf05625eb541b0abdf0f05e95eb2d740c4

ansible: Force dpkg configuration during release upgrades

This stops the installer from prompting for user decisions during the
various upgrades. Using confnew instead of confold risks breaking
configuration, but we largely use default configurations choosing the
new one means we don't have to go over all the diffs manually.

Change-Id: I754ec43fa35e23050659961ccbadf404ed7838cc

ansible: Add optional play to replace common hostname patterns during release-ugprades

Change-Id: Id60d624b91fd6e66347017f337b4048a319ac1c5

ansible: Cleanup debug statements in release-upgrade playbook

Change-Id: I86fe5b5f8a4e6849294cb5c19c919926c083db7c

ansible: Refactor and rename release upgrade playbook

In the end, The 'when:' at the play level wasn't a valid construct for
ansible. To more easily control which tasks are run based on the
ansible_distribution, the Debian specific tasks have been grouped
together in to a separate file which is then included only if
ansible_distribution is 'Debian'.

Change-Id: Iddeeb2da3682b16c4f22ccb179ddc9e40997de3e

ansible: Add deb12-armhf ci nodes

Change-Id: Ia4c2b9913ad553bddc304db918e3cecfc94cf7cf

ansible: Add deb12-armhf CI nodes

Change-Id: Ice84fc6222ff1d3a54a360258dc25bce66dbf2f7

jjb: Add builds on deb12-armhf platforms

Change-Id: Ifdde6d42ade22633a330f06367b7972fce841594

jjb: Add builds on deb12-arm64 platforms

Change-Id: I510290a3612ab7ffcd15eca79ed0492f4dbfa5a7

ansible: Add new rootnode for debian12 / i386

Change-Id: I488c6c7390d5f3d90ccd4abc7a70a721a4e3ea6f

ansible: Add default cross-compilers for Debian-based distributions

When deploying a new rootnode with Debian 12, the playbook failed
since no file matching the options defined in 'Include OS-specific
variables.' task in `roles/cross-compilers/main.yml` could be found.

Change-Id: Ia360ef42e16c16dd38e8ddb9d11db6ace589b7f4

ansible: Download CD images for Debian bookworm amd64 and i386

Change-Id: Ia35071b801fce99d11023d7f997480d6115057b4

jjb: Add deb12-i386 hosts

Change-Id: I5b1b9ffc37676ffbbe6f47e28b4e2b5aa75152f3

ansible: silence warnings in dist-upgrade playbook

Change-Id: I61cc2d88da6d72515089f6746730ff26f197ab8a

jjb: temporary fix for python layout on deb12

Revert the change to 'DEB_PYTHON_INSTALL_LAYOUT=deb' which also changes
'site-packages' to 'dist-packages' which is debian specific.

Instead, temporarily add the incorrect 'local/$LIBDIR' to the
lttng-tools PYTHONPATH while we work on a fix for the build system of
the affected projects.

Change-Id: I662295ae48973eff0864377f58c915edf9ded941
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

wip: smokebuild

Change-Id: Id83224e273fedc94eb5ef57a0bdbfc4919c085fa

wip: riscv64

Change-Id: If01b8f249d6d3ec15f3c44bcd76c77a55a9fc8c7

jjb: set python install layout to deb

The default install layout for user built python modules has changed in
Debian 12 to add a 'local' dir to the prefix. Force the traditionnal
system layout by exporting 'DEB_PYTHON_INSTALL_LAYOUT=deb'.

Change-Id: I0d684be831a8deaf49dc486d6850dba3c8267be2
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: Install and configure unattended-upgrades on Debian and Ubuntu

The unattended-upgrades are disabled by default on CI nodes.

Change-Id: Ifa86ae3fad626a69dcbfbf5829032fb3820128b3

ansible: Add playbook for Debian major version upgrades

Useful when recreating the node from scratch isn't a quick option

Change-Id: I5ebd413604a0f0f48474c205ae88a8a7bf99c2ee

jjb/ansible: Replace deb11-ppc64el with deb12-ppc64el

Change-Id: I31a439040f6313d8ac419c7001150d9985f014c4

lava: Add missing popd to kernel tasks

The `popd` step was removed in
cf1271bb7a11cb708178043db11c0503f604a042

Change-Id: If18bf7f8f36cfdec8eb95b8c4c3dac9dbe051495

lava: Use absolute directory for coredumps

If any of the scripts or tests modify the working directory in an
unexpected way, assuming that the coredump is relative to the working
directory will cause the jobs to fail.

Eg. https://lava-master-03.internal.efficios.com/scheduler/job/491

Change-Id: I0e6a71c1632109c5b62043dff20df587d81dd943

jjb: Do not create system tests with lltng 2.12 on linux >= 5.18

Change-Id: If7a2eea3198f4c1f4f196dd4dd2065753f7e7adc

jjb: lttng-tools: Add process cleaner plugin

Use the process cleaner plugin before and after jobs to clean possible
leftover processes that could interfere with the test suite.

Change-Id: I13af079244cbafde65f9c85f7c66d604fbfa2669
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: split common and common-node roles

To keep the roles self-contained, split the 'common' role into a
'common-node' role.

Change-Id: Ifade97c647cc0e9b480d765caf02a225397de6da
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: common: move root user logic to users.yml

Change-Id: I3d723d81fe25993a18736b5eea619987edd7c7e4
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jj: lttng-tools: Add aarch64 el builds to stable-2.12

Change-Id: Ic173a831a6ccfc5aeb31017ee612a53b62cc2f7a
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

jj: lttng-ust: Add aarch64 el builds to stable-2.12

Change-Id: I5b3e22f4a875cbec6e5ac13db00ecea5c8cf616c
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge "jjb: Add job to build and deploy efficios.com"

jjb: Add job to build and deploy efficios.com

Change-Id: Ie61384f0c99bdf0ffab57b7156296c5f3ca59362

Merge changes from topic "jjb-system_baremetal_crash"

* changes:
  jjb: Add system test for linux-6.1.y
  jjb: Fix crash when trying to launch a job that is not defined

ansible: Deploy jenkin's SSH public key to standalone nodes

If ansible is run against any standalone nodes, the public set in
/root/.ssh/authorized_keys will be removed, and new connections will
fail until the VM is reset from the base-configuration snapshot if it
exists.

When deploying new nodes, ensuring the key is in the root user's
authorized_keys file in the first place avoids creating snapshots that
aren't accessible by the jenkin's user.

Change-Id: I37cc8e804aa4dea649df1558ccf8290d5df6be6f

ansible: Deploy public key for lava-master-03 to cloud06

When ansible is rerun against cloud06, the public key for the root
user of lava-master-03 was being removed, causing lava jobs to fail as
they could not connect to run virsh commands.

C.f. https://lava-master-03.internal.efficios.com/scheduler/job/502#action_2-3-1-1

Change-Id: I7b7986fa34d8925468ed962c598f73c0bd78b823

jjb: Add system test for linux-6.1.y

Change-Id: I6c5fa2847c1ab3e2985e36de7725fd73f4367d0d

jjb: Fix crash when trying to launch a job that is not defined

Original error:

```
Launching job: baremetal_tests_kmaster_lmaster
ERROR: Build step failed with exception
java.lang.NullPointerException: Cannot invoke method getProperty() on null object
at org.codehaus.groovy.runtime.NullObject.invokeMethod(NullObject.java:91)
at org.codehaus.groovy.runtime.callsite.PogoMetaClassSite.call(PogoMetaClassSite.java:47)
at org.codehaus.groovy.runtime.callsite.CallSiteArray.defaultCall(CallSiteArray.java:47)
at org.codehaus.groovy.runtime.callsite.NullCallSite.call(NullCallSite.java:34)
at org.codehaus.groovy.runtime.callsite.CallSiteArray.defaultCall(CallSiteArray.java:47)
at hudson.model.Job$getProperty$0.call(Unknown Source)
at Script1$_run_closure8.doCall(Script1.groovy:273)
...
```

After applying this correction, a run with undefined jobs would look
like this:

```
Launching job: baremetal_tests_kmaster_lmaster
Failed to find job by name 'baremetal_tests_klinux-6.1.y_lmaster'
Launching job: baremetal_tests_klinux-5.15.y_lmaster
...
```

Change-Id: Idedb693816c4928a5318397a724a6096dd544f7d

ansible: Add ci-rootnode-jammy-amd64-07-01

Change-Id: I850affdc72ca953abc9853d6531553fc5525e548

ansible: Manage libvirt on CI 'hosts'

Change-Id: I970fe82d65de551ff51568f1ab72c5331cad3e57

lava: Remove redundant destructive tests

The majority of destructive tests are already being run in make check
via run-test-suites.sh. The only case not covered by that script was
the tests in 'root_destructive_tests' in the stable-2.12 and
stable-2.13 branches.

By adding support for that in run-tests-suites.sh, the
destructive-tests.yml can be completely removed from LAVA.

Change-Id: Ied4aceafb222cfe54c20ebff83608f702c1221e6

lava: Update SSH authorized keys deployed to the DUTs

Change-Id: I7d5b5ac31c63763f09c919c6f7fc53fd3fd62119

jjb: Stop testing lttng master against linux 3.18.y

lttng >= 2.14 dropped support for the 3.x kernels

Change-Id: Id7fc81e6c545f04f460d6b65dba18924e0b9cb21

ansible: add mitogen plugin to README

Change-Id: I3425698eec0b24d87334c6b38a728179101c2a89
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: common: Add gcc / g++ on Redhat

Change-Id: I83436f97f96043634589148300b3225a7ececf2e
Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

ansible: Add physical hosts with minimal common configuration

Change-Id: I32e94782853288021303fb9fd9fbe48afd1c96ee

ansible: add role requirements file

Change-Id: I67ac89edab607c971e688dcdd43f342377a9a125

jjb: Add aarch64 el builds to recent branches of bbt, lttng, and urcu

Change-Id: I7973c1a54e2055cca2907b430ff0ee808b2e4e81

ansible: Change default strategy to mitogen_linear

The default ansible strategy if not set is 'linear'. Using
mitogen_linear results in a significant speed up in runs.

For example, when running the site.yml playbook against
ci-node-el[7-9]-arm64-01 with no other changes between the runs, the
run time goes from ~2 minutes to ~30 seconds.

Change-Id: I47952c2a7d73607248aad71cc6670984aef3804b

ansible: Add new CI nodes for el[7-9] on aarch64

Change-Id: I39883cdb956f3df12a9a1cbf85279445851276db

ansible: Update package installations to support EL aarch64

A number of packages are in the epel-release or the develo
repositories.

Change-Id: I0ad4b2c9dea377c86bbaf00e7631fa223425af08

ansible: Add support for common configuration on Windows hosts

Change-Id: I9f5d9c7f4e58c4e1c55d5e25fe1886abcd8a7f0a

Merge "jjb: Add job to build and deploy bt2 website"

Merge changes from topic "system_tests-trigger_failure"

* changes:
  Update linux branches of interest for system tests
  jjb: Update system_jobs default rootfs URL to jammy
  jjb: Fix crash when launching new jobs from the the system trigger

jjb: Add job to build and deploy bt2 website

Change-Id: I94daca69cf0f44dea3eba9fc5533de5c32458fc5

bt benchmark: Add further ignored commits

ade5c95e2a4f90f839f222fc1a66175b3b199922 and
30341532906d62808e9d66fb115f5edb4e6f5706 fail in the xenial rootfs,
unable to configure with the following error:

```
configure: error: elfutils >= 0.154 is required to use the debug info
feature. You can disable this feature using --disable-debug-info.
```

The rootfs has elfutils, libelf1, and libelf1-dev at a version >=
0.154 and I don't intend to investigate further.

@see https://lava-master-03.internal.efficios.com/scheduler/job/138
@see https://lava-master-03.internal.efficios.com/scheduler/job/144

006c5ffb42f32e802136e3c27a63accb59b4d6c4 and
88488ff5bdcd7679ff1f04fe6cff0d24b4f8fc0c fail to compile with the
following error:

```
param-validation.c:226:30: error: BT_VALUE_MAP_FOREACH_ENTRY_CONST_STATUS_MEMORY_ERROR undeclared
```

@see https://lava-master-03.internal.efficios.com/scheduler/job/136
@see https://lava-master-03.internal.efficios.com/scheduler/job/139

Further commits were added grouped in to two sections: Issues with
elfutils, and other build problems.

Based on jobs ~150-229 on lava-master-03

Change-Id: Ia6a7d60a474a53dd5395ee0cf133b43d3df7ceff