20735: Merge branch 'main' into 20735-update-deps

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20735: Update singularity version in docs and build script.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20705-crunchstat-warn-missing-data'

fixes #20705

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20680-default-config-updates' refs #20680

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20680: Fix nginx_balancer_configuration & add note about defaults

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20705: 10% failure on stub Create to ensure running error path.

Fixes occasional test failures due to absence of rate-limiting errors.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20735: Sync bundler version.

See https://dev.arvados.org/issues/20735#note-6

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Fixes instance profile assignment. Refs #20610

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20610-installer-load-balancer'. Refs #20610

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Documentation changes, including simplification & fixes.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Changes the default installer config in order to simplify documentation.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20680: Rework worker settings for new controller behavior

We now have separate values for concurrent requests and queued
requests.  Ensure the arvados, passenger and nginx configurations align
with the correct values.

Renamed CONTROLLER_NGINX_WORKERS to CONTROLLER_MAX_WORKERS

Renamed CONTROLLER_MAX_CONCURRENT_REQUESTS to
CONTROLLER_MAX_QUEUED_REQUESTS

Adjusted config.yml defaults to reflect that MaxConcurrentRequests
means something different.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20610: Documentation fixes & additions.

Also, removed the 'api' role from the multi host local.params example.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Fixes balancer nginx's request queue config depending on # of backends

Also, fixes templating issue on arvados' config.yml file related to this
setting.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Unifies the 'api' role with the 'controller' role.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Improves provision.sh code readability.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Deduplicates variable substitution code.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Renames the ROLES map variable because the name was being used already.

Also, adds "set -eu" to provision.sh and fixes related unbound var issues.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20735: Update Go to 1.20.6.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20735: Update ruby and singularity.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20735: Update to go 1.20.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20610: Moves code from local.params to its own common.sh file.

provision & installer scripts now loads this new file that in turn loads
the params files.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '17244-cgroup2'

refs #17244

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Fix doc link.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20797-rhel8-packages'

Closes #20797.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Merge Red Hat package install instructions

For now, since the instructions are *exactly* the same across distros
and versions, this makes sense as a streamlining measure. If we add more
variation to the process in the future, it probably makes sense to split
these out again.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Run microdnf with --assumeyes

`docker run --rm -ti rockylinux:8-minimal microdnf --help` says,

> The "--assumeyes" option is turned on by default.

However, that behavior apparently changes in a future version:
<https://github.com/rpm-software-management/microdnf/pull/97>,
microdnf commit ca778a0b34c5e15b5b0de1e0af0f8892280fc0c2.

Passing `--assumeyes` provides more consistency and will help keep the
code working in later releases.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Prefer dnf in PostgreSQL install instructions

I believe this is the current preferred tool, and provides consistency
with other RH8 documentation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

17244: Update docs for -cgroup-parent-subsystem flag.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Clarify log message.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20705: Warn if some stats are missing.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20797: Update cross compilation detection logic

The immediate bug that needs to be fixed is that we currently don't
support cross compilation on rocky8.

DRY up the code to try to make it easier to follow what's going on
here.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Note Alma/CentOS/Red Hat/Rocky 8 support in install docs

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Copyedit "CentOS" for consistent capitalization

I left the upgrade notes alone since they're more anchored in time, but
this should get the rest of the documentation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Add basic documentation for how to add a new target distro

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Add basic intro documentation to build README

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Update bundler version in rocky8 Docker images

This updates the version to match our `Gemfile.lock` files and avoids a
warning.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Update for new createrepo package+executable name

In Debian 12 the package is named createrepo-c and it installs
/usr/bin/createrepo_c. With this change, the build script prefers that
name, but still looks for and uses `createrepo`.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Streamline setup of Python build variables

Instead of setting Debian defaults and overriding them,

1. set global defaults
2. set target-specific variables
3. set deb/rpm-specific defaults as needed

I hope this makes clearer what's actually a target-specific variable
vs. a regular difference between Debian and Red Hat, and so makes it
easier to add targets in the future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Add initial support for rocky8 package builds

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20610: Updates docs to reflect changes on arvados.sls configuration.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Adds documentation for load-balancing & rolling upgrades.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Removes the need to manually set up the ENABLE_BALANCER variable.

Having the role->nodes map allows us to simplify manual configuration.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Fixes deployment order to avoid failures.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Allows disabling backend controllers for rolling updates.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Restricts backends' HTTP access by nginx rules.

I think this is better than implementing those controls through security
groups via Terraform, because the node's role information is already available
on the salt code.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Fixes prometheus configuration to track the controller nodes.

Also, fixes a-d-c config, as it was also assumed to be on the controller node.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Removes duplication on balancer & backend declarations.

Instead of having to explicitly declare those, just use the ROLES map
to get the balancer and controller nodes.
Also, explicitly gives PG access to Keep-Balance instead of assuming it's
installed on the same node as the controller.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Adds node list & role->nodes map variables.

Uses the node list variable to configure prometheus node exporter from the
configuration in local.params.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Fixes a template variable usage.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Removes the need to directly edit the arvados.sls pillar.

All params are now in local.params.* files.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20543-pip-install-virtualenv'

Closes #20543.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20543: Recommend users install Python packages in a virtualenv

`pip install --user` doesn't work on distributions that have adopted
PEP 668, including Debian 12+ and Ubuntu 23.04+.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20343-regexp-prefixes'

Closes #20343.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

17244: Use crunch-run's cgroup, not init's, for "host" stats.

This gets much closer to "everything on the host" with minimal
effort.

Tracking the furthest ancestor of crunch-run's cgroup might be even
better, but will require additional support in crunchstat.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Test findCgroup on cgroup files in crunchstat testdata.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20726-s3-session-release'

refs #20726

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20726: Fix unreleased session in s3 handler.

Caused subsequent requests with the same token to hang after reaching
expiry time.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Fix singularity reporting host stats as container stats.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Make -cgroup-parent-subsystem=X work in cgroups v2.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Refactor crunchstat to use cgroup unified/hybrid modes.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Remove crunchstat debian package.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20731-user-guide-wb2'  refs #20731

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20726-s3list-pages'

refs #20726

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20726: Fix traversing projects/collections that precede page marker.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20731: Make some text changes & reorganization based on workbench 2 updates

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20726: Fix ListObjects[V2] pages duplicating last item on next page.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20726: Update s3ListObjects paging test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20667-maxsuper-atquota'

fixes #20667

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20684-user-install-doc-fixes'

Closes #20684.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Modernize pycurl dependency discussion

These instructions should be good for Debian 10+ and I'm assuming
corresponding Ubuntu too.

* Update libssl package name
* Clarify the command is good for multiple distros
* Prefer apt over apt-get

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Simplify curl dependency background

Specifying that the "Python SDK" depends on curl is needless detail
here.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Note tutorial expectations for all Crunch CLI tools

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Note crunchstat-summary can be installed in a virtualenv

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Copyedit tutorial expectations include

* Fix run-on sentence
* Clean up punctuation spacing

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Expand "Getting started at the command line" documentation

* Add more structure to the page
* Be explicit that we usually recommend using a VM
* Highlight that using our package repository is the simplest way to
  install tools
* List all the tools you can install, with more details

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Clean up FUSE references in a-c-r install instructions

It looks like this page started as a copy of the corresponding FUSE
page, and we didn't update all the references.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20559-dav-concurrent-writes'

refs #20559

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Fixes salt bootstrapping on nodes by the installer. Refs #20665

Salt v3004 is no more regarded as 'stable', so the boostrapping script started
to fail. Asking for 'old-stable' fixes this, at least for some time.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20722-docker-upgrade'

fixes #20722

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20722: Update ContainerCreate usage for new docker client library.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20707-aws-compute-ami-cgroupsv1'. Closes #20707

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20722: Cleans up dependencies with 'go mod tidy'

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20722: Upgrades github.com/docker/docker to latest version.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20718-grpc-upgrade'. Closes #20718

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20718: Cleans up by running "go mod tidy -compat=1.17"

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20718: Upgrades google.golang.org/grpc to 1.56.1

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20343: Define Python regexps with raw strings

Prevent the DeprecationWarning added to Python 3.6 for unrecognized
string escape sequences. Found candidates by running:

    git grep --line-number -E '\bre\.\w+\([^r]*\\'

Most of the changes just add the raw string prefix `r` to these regexps,
but I did make some other readability improvements while I was at it,
including switching from regexps to plain string test methods where
appropriate.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20710-shlex-quoting'

Closes #20710.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20710: Remove old backwards compatibility import fallback

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20707: Don't rely on GRUB_CMDLINE_LINUX be empty in /etc/default/grub

Debian 11 AWS AMIs come with some settings added in that variable.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20710: Switch from pipes.quote to shlex.quote

pipes is deprecated in Python 3.11+ and slated to be removed in Python
3.13. Fortunately we only use pipes.quote, which is literally the same
as shlex.quote:

    >>> import pipes
    <stdin>:1: DeprecationWarning: 'pipes' is deprecated and slated for removal in Python 3.13
    >>> import shlex
    >>> pipes.quote is shlex.quote
    True

Switch to that instead for continued support.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20707: Updates default to Debian 11 AMI. Forces cgroups v1 for crunchstat.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20559: Trim session count explicitly instead of using LRU cache.

The LRU cache automatically implemented the session count limit by
dropping the oldest session, which would break our "one session per
token" rule (by evicting a session and creating a new one while the
old session was still in use) when there were more active sessions
than the configured limit.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Doc: Update the included note about Workbench 2 transition.

Reword the text to center the Workbench 2.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Working with an Arvados git repository"

- Updated inline elements for Workbench 2.

TODO: Should double-check the instructions of using Workbench when a git
repo is ready.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Adding a new Arvados git repository"

- Updated inline elements and the first 2 figures for Workbench 2.

TODO: The last figure remains to be updated.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Starting a Workflow at the Command Line"

A minor fix for the mention of starting a workflow from Workbench.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Trashing and untrashing data"

Revised the part about untrashing using Workbench for Workbench 2,
including replacing the figure.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Add a figure caption in "Downloading data".

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>