19982: Adding inital code

Adding inital code in arvcontainer.py, adding first draft of test, and adding new hint.

Arvados-DCO-1.1-Signed-off-by: Alex Coleman <alex.coleman@curii.com>

Fixes deployment when using envvar BRANCH=main. No issue #

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20649-ssh-help'

fixes #20649

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20457-careful-near-quota'

fixes #20457

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20649: Mention `arvados-server cloudtest` in boot timeout log msg.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20649: Fix panic on race, worker shutdown vs. container startup.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20649: Don't wait timeoutSignal before sending first TERM signal.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Fixes comment formatting. No issue #

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20457: Fix flaky test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20649: Log actual error from last failed boot probe.

Not just the stderr content, which is useless if the error was
something like "connection failed".

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20649: Log boot probe errors other than usual wait-for-boot errors.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20457: Update test to match new unlock-at-quota behavior.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20457: Don't lock-cycle next-in-line ctr while waiting for quota.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20457: Fix total instances count.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Add packages required to build newer singularity, refs #20735

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20688-wb1-to-wb2-redirects' refs #20688

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20649: cloudtest obeys DeployPublicKey config, like a-d-c.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20755-ec2-multiple-subnets'

closes #20755

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20457: Fix flaky test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20457: Exercise quota handling in dispatcher chaos test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20457: When passing prior quota level, raise maxConcurrency slowly.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20680-rolling-deploy' refs #20680

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20680: Increase MaxConcurrentRequests to 8

Necessary to avoid a API -> keep-web -> API loop causing a deadlock.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20755: Merge branch 'main' into 20755-ec2-multiple-subnets

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20755: Fix test case by accepting empty DriverParameters.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20755: Run cloudtest suite once per configured subnet, not just 1st.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20735-update-deps'

refs #20735

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20735: Clarify singularity version/compatibility expectations.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20680: Only do a rolling update when there is multiple controllers

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Fix error check.

refs #17244

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20680: installer does rolling update of controller

When there is a load balancer, disable each controller node in turn
before updating it.

Also, don't reduce controller_nr when a controller is down, having
worker_connections go up and down during deploy seems like in could
cause problems.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20754-docker-py-upgrade'

Closes #20754.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20735: Merge branch 'main' into 20735-update-deps

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20735: Update singularity version in docs and build script.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20705-crunchstat-warn-missing-data'

fixes #20705

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20680-default-config-updates' refs #20680

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20680: Fix nginx_balancer_configuration & add note about defaults

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20705: 10% failure on stub Create to ensure running error path.

Fixes occasional test failures due to absence of rate-limiting errors.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20735: Sync bundler version.

See https://dev.arvados.org/issues/20735#note-6

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Fixes instance profile assignment. Refs #20610

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20610-installer-load-balancer'. Refs #20610

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20754: Upgrade docker module for docker-cleaner

The immediate motivation is dealing with the bug discussed in the
comments. Upgrading generally seems like a good idea since we've been
pinned at a specific version for so long.

Changing the Docker API version is required by the library: 1.21 is the
oldest version currently supported. Our Go stack is standardized on
1.35, so use that here too.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20610: Documentation changes, including simplification & fixes.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20754: Remove test requirements from docker-cleaner

Neither are required with our current Python stack.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20610: Changes the default installer config in order to simplify documentation.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20688: Update single host/multiple hostname template

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20688: "workbench" host is now workbench2

"workbench2" host redirects to workbench

Right now, both workbench and workbench2 roles still need to be
assigned, because the 'workbench' role is now configuring nginx but
the 'workbench2' state is the one that actually installs the package.

Will need to make some upstream changes to the formula.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20688: Reorder redirects by priority

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20688: check for ssh ahead of time, sync only before deploy

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20688: Add nginx redirects from wb1 paths to wb2 paths to salt

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20688: Fix quoting issue

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20688: Add wb1 to wb2 redirects to arvbox

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20680: Rework worker settings for new controller behavior

We now have separate values for concurrent requests and queued
requests.  Ensure the arvados, passenger and nginx configurations align
with the correct values.

Renamed CONTROLLER_NGINX_WORKERS to CONTROLLER_MAX_WORKERS

Renamed CONTROLLER_MAX_CONCURRENT_REQUESTS to
CONTROLLER_MAX_QUEUED_REQUESTS

Adjusted config.yml defaults to reflect that MaxConcurrentRequests
means something different.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20755: Report metrics for ec2 instances per subnet.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20610: Documentation fixes & additions.

Also, removed the 'api' role from the multi host local.params example.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Fixes balancer nginx's request queue config depending on # of backends

Also, fixes templating issue on arvados' config.yml file related to this
setting.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20755: Allow cloud drivers to register their own metrics.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20755: Support multiple/alternate subnets on EC2.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20610: Unifies the 'api' role with the 'controller' role.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Improves provision.sh code readability.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Deduplicates variable substitution code.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Renames the ROLES map variable because the name was being used already.

Also, adds "set -eu" to provision.sh and fixes related unbound var issues.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20735: Update Go to 1.20.6.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20735: Update ruby and singularity.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20735: Update to go 1.20.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20610: Moves code from local.params to its own common.sh file.

provision & installer scripts now loads this new file that in turn loads
the params files.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '17244-cgroup2'

refs #17244

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Fix doc link.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20797-rhel8-packages'

Closes #20797.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Merge Red Hat package install instructions

For now, since the instructions are *exactly* the same across distros
and versions, this makes sense as a streamlining measure. If we add more
variation to the process in the future, it probably makes sense to split
these out again.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Run microdnf with --assumeyes

`docker run --rm -ti rockylinux:8-minimal microdnf --help` says,

> The "--assumeyes" option is turned on by default.

However, that behavior apparently changes in a future version:
<https://github.com/rpm-software-management/microdnf/pull/97>,
microdnf commit ca778a0b34c5e15b5b0de1e0af0f8892280fc0c2.

Passing `--assumeyes` provides more consistency and will help keep the
code working in later releases.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Prefer dnf in PostgreSQL install instructions

I believe this is the current preferred tool, and provides consistency
with other RH8 documentation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

17244: Update docs for -cgroup-parent-subsystem flag.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Clarify log message.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20705: Warn if some stats are missing.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20797: Update cross compilation detection logic

The immediate bug that needs to be fixed is that we currently don't
support cross compilation on rocky8.

DRY up the code to try to make it easier to follow what's going on
here.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Note Alma/CentOS/Red Hat/Rocky 8 support in install docs

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Copyedit "CentOS" for consistent capitalization

I left the upgrade notes alone since they're more anchored in time, but
this should get the rest of the documentation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Add basic documentation for how to add a new target distro

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Add basic intro documentation to build README

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Update bundler version in rocky8 Docker images

This updates the version to match our `Gemfile.lock` files and avoids a
warning.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Update for new createrepo package+executable name

In Debian 12 the package is named createrepo-c and it installs
/usr/bin/createrepo_c. With this change, the build script prefers that
name, but still looks for and uses `createrepo`.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Streamline setup of Python build variables

Instead of setting Debian defaults and overriding them,

1. set global defaults
2. set target-specific variables
3. set deb/rpm-specific defaults as needed

I hope this makes clearer what's actually a target-specific variable
vs. a regular difference between Debian and Red Hat, and so makes it
easier to add targets in the future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Add initial support for rocky8 package builds

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20610: Updates docs to reflect changes on arvados.sls configuration.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Adds documentation for load-balancing & rolling upgrades.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Removes the need to manually set up the ENABLE_BALANCER variable.

Having the role->nodes map allows us to simplify manual configuration.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Fixes deployment order to avoid failures.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Allows disabling backend controllers for rolling updates.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Restricts backends' HTTP access by nginx rules.

I think this is better than implementing those controls through security
groups via Terraform, because the node's role information is already available
on the salt code.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Fixes prometheus configuration to track the controller nodes.

Also, fixes a-d-c config, as it was also assumed to be on the controller node.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Removes duplication on balancer & backend declarations.

Instead of having to explicitly declare those, just use the ROLES map
to get the balancer and controller nodes.
Also, explicitly gives PG access to Keep-Balance instead of assuming it's
installed on the same node as the controller.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Adds node list & role->nodes map variables.

Uses the node list variable to configure prometheus node exporter from the
configuration in local.params.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Fixes a template variable usage.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Removes the need to directly edit the arvados.sls pillar.

All params are now in local.params.* files.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20543-pip-install-virtualenv'

Closes #20543.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20543: Recommend users install Python packages in a virtualenv

`pip install --user` doesn't work on distributions that have adopted
PEP 668, including Debian 12+ and Ubuntu 23.04+.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20343-regexp-prefixes'

Closes #20343.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

17244: Use crunch-run's cgroup, not init's, for "host" stats.

This gets much closer to "everything on the host" with minimal
effort.

Tracking the furthest ancestor of crunch-run's cgroup might be even
better, but will require additional support in crunchstat.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Test findCgroup on cgroup files in crunchstat testdata.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>