Revert "LAVA: Use bash as first step to spawn a bash shell"

This reverts commit 6af14904ac64adeb74b494b7f7f27c83795d90f4.

Since the bash process does not return lava hang there.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

LAVA: Use bash as first step to spawn a bash shell

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

LAVA: allocate data disk of 2G for local operation

This is to replicate /dev/sda1 from baremetal jobs.

It also ensure that NFS is not used to perform testing.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: nfsver -> nfsvers

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: missing ""

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Use job context to pass kernel and nfs parameters

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Enable e1000 driver for kernel

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: remove -km argument of lava submit python script

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: using archive tar leads to problem at extraction time

Contrary to documentation the "archive: tar" member is not needed for
modules extraction and can even lead to error from lava.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Bake-in the basic kernel module

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

LAVA: run lava2 submit first for easier migration iteration

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: use lib folder directly for modules tarballs

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

LAVA: kvm reduce character delays

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

LAVA: mark kvm devices as autostart and start after creation

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

LAVA: add nfsrootdebug to extra_kernel_args

Allows debugging

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

LAVA: Use nfs boot command

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Use "reset" for kvm devices in all power management case

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: missing jinja2 statement bracket ending

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Use ipxe for qemu booting

This is necessary for modules support.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Use system libvirt session instead of user

By default virsh use qemu:///session instead of qemu:///system.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

LAVA: ipxe patch for base kvm iso

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

LAVA: ipxe script for infinite prompt

Useful for iso booting (cdrom) directly to ipxe.Provide serial printing of
the prompt each 1 seconds allowing easy synchro with LAVA.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

LAVA: Add helper script for kvm generation

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Rename devices

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Use virsh for kvm devices

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Use debug mode for lava2-submit for now

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Standardize cppcheck config

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Device type is qemu not kvm

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix indent of inline metadata

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Checkout kernel only if necessary

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Add Jinja2 in venv for lava2-submit.py

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Disable -eu on venv activation

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Use venv for submit script

Enable the use of yaml

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Change lava api user

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Pass lava2 api token from jenkins

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Call python script for lava2 job submission

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Export S3 url directly from generate-properties-sh

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Rename lava-v2-submit to lava2-submit

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Process jinja template in lava-v2-submit script

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Base jinja template for lava submission

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Add debug option flag

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Lava v2 submit initial submit script

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: missing s3 command put

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Leave the s3:// protocol outside of variables for later conversion to http/s

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Use s3 (minio) for object storage of system_test.

Work toward the use of lava 2.

Keep old normal storage for now.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Device configuration deployment script

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Merge pull request #50 from lttng/kill-dangling-processes

Kill dangling test processes before running tests

Ignore pdudaemon runtime db

Fix: %h is only valid for user services

Use %h for pdudaemon systemd service

Ignore lava/pdudaemon/venv

laval: Add devices dictionaries

PDUdaemon service, conf, and script

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Cleanup: remove unused variable

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Archive deps for easier coredump analysis

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Cleanup of running processes and coredump before build step

Coredump are expected in /tmp. Remove any previous coredumps present if
any.

Kill (SIGKILL) all lttng related processes that are present at the start
of the build.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Check for hanging process at the end of a job.

Run in all scenarios. We force a coredump and archive it to ./build.

Use ldd on /proc/$PID/exe to get actual dependencies.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Define pgrep and print the processes to be killed

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Kill dangling test processes before running tests

Tests often fail because of "dangling" lttng processes left on CI slaves. I am not sure what leaks them (either failing tests or cancelled jobs), but they are a very frequent cause of build failures.

The code is this diff is taken from lttng-tools warn_processes.sh.

We could also clean-up at the end of the job, but I am not sure how to get Jenkins to run a "clean-up" when a job is cancelled (e.g. manually or after a time-out).

Move Scope back to github

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge pull request #51 from PSRCode/maintainer-update

Replace alexmonthy email notification to new maintainer

Replace alexmonthy email notification to new maintainer

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Add lttng-modules bionic jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Add testtype to lttng-tools 2.11 jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Add stable-2.11 jobs

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge pull request #49 from PSRCode/long_regression

Add long regression testing for lttng-tools

Add long regression testing for lttng-tools

Create new jobs since performing long regression testing on
multi-axial matrix would simply take to much time.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Merge pull request #48 from frdeso/add_executed_test_suite_in_desc

jjb: systems-tests: include executed test suites in job description

jjb: systems-tests: include executed test suites in job description

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Move lttng-scope repos to Gitlab

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge pull request #47 from frdeso/lava_midnight

jjb: lava: Schedule trigger jobs on early morning on week days

jjb: lava: Schedule trigger jobs on early morning on week days

Because of DNS resolving downtime during backups on weekends we need to
make sure that the long running Lava jobs are scheduled early in the day
so they have time to complete before we pass midnight.

It was causing problems when a lot of Lava jobs were scheduled late
Friday afternoon and some jobs ended up being queued until Saturday
morning when DNS resolving was down.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #46 from frdeso/lava_fuzzing_daily

jjb: lava: Run fuzzing job daily regardless of code changes

jjb: lava: Run fuzzing job daily regardless of code changes

Since the kprobe fuzzing has in important random aspect, we can run it
daily to increase the instrumentation coverage.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #45 from frdeso/lava_fuzzing_blacklist_ftrace

jjb: lava: kprobe-fuzzing: Don't fuzz ftrace functions

jjb: lava: kprobe-fuzzing: Don't fuzz ftrace functions

Probing ftrace functions like ftrace_ops_assist_func and some other
function can cause crashes and it won't be fixed by the kernel community
in the foreseeable future. See discussion [1].

People seem to agree it's a bug but we don't have a timeline on the fix.

For now, we ourselves manually blacklist the symbols from the fuzzed
instrumentation points.

[1] https://lkml.org/lkml/2018/3/16/560

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #44 from frdeso/lava_fuzzing_remove_coredump

jjb: lava: kprobe-fuzzing: Remove coredump recovery step

Merge pull request #43 from frdeso/fix_lava_fuzzing_generate

jjb: lava: kprobe-fuzzing: Fix syntax error in test definition

jjb: lava: kprobe-fuzzing: Remove coredump recovery step

The fuzzing is targeting the kernel so there is no value to gather
userspace coredumps.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: kprobe-fuzzing: Fix syntax error in test definition

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #42 from frdeso/lava_fuzzing_multi_iter

jjb: lava: kprobe-fuzzing: Split testcase into multiple independent ones

jjb: lava: kprobe-fuzzing: Add random seed param for generation script

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: kprobe-fuzzing: Fix: clear events before next iteration

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: kprobe-fuzzing: Split testcase into multiple independent ones

With the current configuration, the fuzzing is done in a single Lava
testcase. If the kernel crashes during the testcase, the Lava slave will
be rebooted once the timeout expires(currently 2 hours). If the testcase
crashes at the beginning of the testcase, the job still has to wait for
the timeout to expire. That causes a lot of wasted time.

We overcome this by split the fuzzing into multiple smaller testcases
all with a smaller timeout and a specific range of instrumentation
points to test. This has the benefits of increasing our testing coverage
and resource efficiency.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #41 from frdeso/lava_fuzzing_print_instr_point_boundary

jjb: lava: kprobe-fuzzing: print instrumentation points boundaries at…

jjb: lava: kprobe-fuzzing: print instrumentation points boundaries at each iteration

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #40 from frdeso/lava_fuzzing_remove_lttng

jjb: lava: kprobe-fuzzing: Don't setup lttng env

jjb: lava: kprobe-fuzzing: Don't setup lttng env

We now use the debugfs interface to enable kprobe events, so we don't
need to setup an LTTng env anymore.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: Use updated system bison and popt on sol11

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge pull request #39 from frdeso/lava_improve_fuzzing

jjb: lava: Reimplement kprobe fuzzing job

jjb: lava: Reimplement kprobe fuzzing job

This commits reimplements the kprobe fuzzing job in Python.

The Lava job is split into two stages. The first stage generates the
list of instrumentation points to try and saves it to the Lava job.
The second stage, reads this file and perform the fuzzing.

To save the instrumentation points file, we need to attach it to the job
from a Lava test shell that doesn't crash since that would prevent the
file from being saved. Because the fuzzing stage is likely to crash, we
need to do the generation and saving in a different stage.

In the past, we only fuzzed kallsyms symbols. Now we also fuzz random
offsets from these symbols and random addresses in the entire address
range.

We now save the list of instrumentation points before running the
fuzzing, so we don't have to print tested symbols along the way.
Instead, at each iteration, we print what interval of lines we are
currently testing. When we witness a crash, we can go back to the saved
file to see what instrumentation points caused it.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #38 from frdeso/fix_lava_coredump_attach

jjb: lava: Fix: lava jobs attaching files to wrong test case

jjb: lava: Fix: lava jobs attaching files to wrong test case

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #37 from frdeso/fix_update_system_tests_path

Fix: update system tests paths

jjb: lava: change lava jobs directory name

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

jjb: lava: fix: update system-tests directory path

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #36 from frdeso/fix_system_tests_path

jjb: lava: fix: update path to scripts

jjb: lava: fix: update path to scripts

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>

Merge pull request #35 from frdeso/lava_trigger

jjb: lava: Rework baremetal jobs and introduce trigger job

jjb: lava: keep track of job exit status and configuration

Completely rework the system trigger jobs.

Before those changes a failed sub-job would make the umbrella job fail
once but the next time the umbrella job runs, it would see no new
commit, omit the schedule the sub-job again, and return success.
Failures were forgotten after one day.

We now save on the workspace the exit status and configuration of every
sub-job. This way we can avoid re-running sub-jobs that have jailed in
the past and haven't changed since. An umbrella jobs containing such
sub-job will now directly marked as failed.

The umbrella job will keep the failed status until all sub-jobs succeed.

Signed-off-by: Francis Deslauriers <francis.deslauriers@efficios.com>