20649: Log actual error from last failed boot probe.

Not just the stderr content, which is useless if the error was
something like "connection failed".

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20649: Log boot probe errors other than usual wait-for-boot errors.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20649: cloudtest obeys DeployPublicKey config, like a-d-c.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20755-ec2-multiple-subnets'

closes #20755

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20680-rolling-deploy' refs #20680

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20680: Increase MaxConcurrentRequests to 8

Necessary to avoid a API -> keep-web -> API loop causing a deadlock.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20755: Merge branch 'main' into 20755-ec2-multiple-subnets

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20755: Fix test case by accepting empty DriverParameters.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20755: Run cloudtest suite once per configured subnet, not just 1st.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20735-update-deps'

refs #20735

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20735: Clarify singularity version/compatibility expectations.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20680: Only do a rolling update when there is multiple controllers

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Fix error check.

refs #17244

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20680: installer does rolling update of controller

When there is a load balancer, disable each controller node in turn
before updating it.

Also, don't reduce controller_nr when a controller is down, having
worker_connections go up and down during deploy seems like in could
cause problems.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20754-docker-py-upgrade'

Closes #20754.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20735: Merge branch 'main' into 20735-update-deps

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20735: Update singularity version in docs and build script.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20705-crunchstat-warn-missing-data'

fixes #20705

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20680-default-config-updates' refs #20680

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20680: Fix nginx_balancer_configuration & add note about defaults

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20705: 10% failure on stub Create to ensure running error path.

Fixes occasional test failures due to absence of rate-limiting errors.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20735: Sync bundler version.

See https://dev.arvados.org/issues/20735#note-6

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Fixes instance profile assignment. Refs #20610

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20610-installer-load-balancer'. Refs #20610

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20754: Upgrade docker module for docker-cleaner

The immediate motivation is dealing with the bug discussed in the
comments. Upgrading generally seems like a good idea since we've been
pinned at a specific version for so long.

Changing the Docker API version is required by the library: 1.21 is the
oldest version currently supported. Our Go stack is standardized on
1.35, so use that here too.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20610: Documentation changes, including simplification & fixes.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20754: Remove test requirements from docker-cleaner

Neither are required with our current Python stack.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20610: Changes the default installer config in order to simplify documentation.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20680: Rework worker settings for new controller behavior

We now have separate values for concurrent requests and queued
requests.  Ensure the arvados, passenger and nginx configurations align
with the correct values.

Renamed CONTROLLER_NGINX_WORKERS to CONTROLLER_MAX_WORKERS

Renamed CONTROLLER_MAX_CONCURRENT_REQUESTS to
CONTROLLER_MAX_QUEUED_REQUESTS

Adjusted config.yml defaults to reflect that MaxConcurrentRequests
means something different.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20755: Report metrics for ec2 instances per subnet.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20610: Documentation fixes & additions.

Also, removed the 'api' role from the multi host local.params example.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Fixes balancer nginx's request queue config depending on # of backends

Also, fixes templating issue on arvados' config.yml file related to this
setting.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20755: Allow cloud drivers to register their own metrics.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20755: Support multiple/alternate subnets on EC2.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20610: Unifies the 'api' role with the 'controller' role.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Improves provision.sh code readability.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Deduplicates variable substitution code.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Renames the ROLES map variable because the name was being used already.

Also, adds "set -eu" to provision.sh and fixes related unbound var issues.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20735: Update Go to 1.20.6.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20735: Update ruby and singularity.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20735: Update to go 1.20.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20610: Moves code from local.params to its own common.sh file.

provision & installer scripts now loads this new file that in turn loads
the params files.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '17244-cgroup2'

refs #17244

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Fix doc link.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20797-rhel8-packages'

Closes #20797.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Merge Red Hat package install instructions

For now, since the instructions are *exactly* the same across distros
and versions, this makes sense as a streamlining measure. If we add more
variation to the process in the future, it probably makes sense to split
these out again.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Run microdnf with --assumeyes

`docker run --rm -ti rockylinux:8-minimal microdnf --help` says,

> The "--assumeyes" option is turned on by default.

However, that behavior apparently changes in a future version:
<https://github.com/rpm-software-management/microdnf/pull/97>,
microdnf commit ca778a0b34c5e15b5b0de1e0af0f8892280fc0c2.

Passing `--assumeyes` provides more consistency and will help keep the
code working in later releases.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Prefer dnf in PostgreSQL install instructions

I believe this is the current preferred tool, and provides consistency
with other RH8 documentation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

17244: Update docs for -cgroup-parent-subsystem flag.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Clarify log message.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20705: Warn if some stats are missing.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20797: Update cross compilation detection logic

The immediate bug that needs to be fixed is that we currently don't
support cross compilation on rocky8.

DRY up the code to try to make it easier to follow what's going on
here.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Note Alma/CentOS/Red Hat/Rocky 8 support in install docs

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Copyedit "CentOS" for consistent capitalization

I left the upgrade notes alone since they're more anchored in time, but
this should get the rest of the documentation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Add basic documentation for how to add a new target distro

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Add basic intro documentation to build README

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Update bundler version in rocky8 Docker images

This updates the version to match our `Gemfile.lock` files and avoids a
warning.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Update for new createrepo package+executable name

In Debian 12 the package is named createrepo-c and it installs
/usr/bin/createrepo_c. With this change, the build script prefers that
name, but still looks for and uses `createrepo`.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Streamline setup of Python build variables

Instead of setting Debian defaults and overriding them,

1. set global defaults
2. set target-specific variables
3. set deb/rpm-specific defaults as needed

I hope this makes clearer what's actually a target-specific variable
vs. a regular difference between Debian and Red Hat, and so makes it
easier to add targets in the future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Add initial support for rocky8 package builds

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20610: Updates docs to reflect changes on arvados.sls configuration.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Adds documentation for load-balancing & rolling upgrades.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Removes the need to manually set up the ENABLE_BALANCER variable.

Having the role->nodes map allows us to simplify manual configuration.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Fixes deployment order to avoid failures.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Allows disabling backend controllers for rolling updates.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Restricts backends' HTTP access by nginx rules.

I think this is better than implementing those controls through security
groups via Terraform, because the node's role information is already available
on the salt code.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Fixes prometheus configuration to track the controller nodes.

Also, fixes a-d-c config, as it was also assumed to be on the controller node.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Removes duplication on balancer & backend declarations.

Instead of having to explicitly declare those, just use the ROLES map
to get the balancer and controller nodes.
Also, explicitly gives PG access to Keep-Balance instead of assuming it's
installed on the same node as the controller.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Adds node list & role->nodes map variables.

Uses the node list variable to configure prometheus node exporter from the
configuration in local.params.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Fixes a template variable usage.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Removes the need to directly edit the arvados.sls pillar.

All params are now in local.params.* files.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20543-pip-install-virtualenv'

Closes #20543.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20543: Recommend users install Python packages in a virtualenv

`pip install --user` doesn't work on distributions that have adopted
PEP 668, including Debian 12+ and Ubuntu 23.04+.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20343-regexp-prefixes'

Closes #20343.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

17244: Use crunch-run's cgroup, not init's, for "host" stats.

This gets much closer to "everything on the host" with minimal
effort.

Tracking the furthest ancestor of crunch-run's cgroup might be even
better, but will require additional support in crunchstat.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Test findCgroup on cgroup files in crunchstat testdata.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20726-s3-session-release'

refs #20726

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20726: Fix unreleased session in s3 handler.

Caused subsequent requests with the same token to hang after reaching
expiry time.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Fix singularity reporting host stats as container stats.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Make -cgroup-parent-subsystem=X work in cgroups v2.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Refactor crunchstat to use cgroup unified/hybrid modes.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Remove crunchstat debian package.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20731-user-guide-wb2'  refs #20731

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20726-s3list-pages'

refs #20726

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20726: Fix traversing projects/collections that precede page marker.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20731: Make some text changes & reorganization based on workbench 2 updates

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20726: Fix ListObjects[V2] pages duplicating last item on next page.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20726: Update s3ListObjects paging test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20667-maxsuper-atquota'

fixes #20667

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20684-user-install-doc-fixes'

Closes #20684.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Modernize pycurl dependency discussion

These instructions should be good for Debian 10+ and I'm assuming
corresponding Ubuntu too.

* Update libssl package name
* Clarify the command is good for multiple distros
* Prefer apt over apt-get

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Simplify curl dependency background

Specifying that the "Python SDK" depends on curl is needless detail
here.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Note tutorial expectations for all Crunch CLI tools

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Note crunchstat-summary can be installed in a virtualenv

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Copyedit tutorial expectations include

* Fix run-on sentence
* Clean up punctuation spacing

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Expand "Getting started at the command line" documentation

* Add more structure to the page
* Be explicit that we usually recommend using a VM
* Highlight that using our package repository is the simplest way to
  install tools
* List all the tools you can install, with more details

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Clean up FUSE references in a-c-r install instructions

It looks like this page started as a copy of the corresponding FUSE
page, and we didn't update all the references.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20559-dav-concurrent-writes'

refs #20559

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Fixes salt bootstrapping on nodes by the installer. Refs #20665

Salt v3004 is no more regarded as 'stable', so the boostrapping script started
to fail. Asking for 'old-stable' fixes this, at least for some time.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20722-docker-upgrade'

fixes #20722

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>