20754: Upgrade docker module for docker-cleaner

The immediate motivation is dealing with the bug discussed in the
comments. Upgrading generally seems like a good idea since we've been
pinned at a specific version for so long.

Changing the Docker API version is required by the library: 1.21 is the
oldest version currently supported. Our Go stack is standardized on
1.35, so use that here too.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20754: Remove test requirements from docker-cleaner

Neither are required with our current Python stack.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '17244-cgroup2'

refs #17244

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Fix doc link.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20797-rhel8-packages'

Closes #20797.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Merge Red Hat package install instructions

For now, since the instructions are *exactly* the same across distros
and versions, this makes sense as a streamlining measure. If we add more
variation to the process in the future, it probably makes sense to split
these out again.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Run microdnf with --assumeyes

`docker run --rm -ti rockylinux:8-minimal microdnf --help` says,

> The "--assumeyes" option is turned on by default.

However, that behavior apparently changes in a future version:
<https://github.com/rpm-software-management/microdnf/pull/97>,
microdnf commit ca778a0b34c5e15b5b0de1e0af0f8892280fc0c2.

Passing `--assumeyes` provides more consistency and will help keep the
code working in later releases.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Prefer dnf in PostgreSQL install instructions

I believe this is the current preferred tool, and provides consistency
with other RH8 documentation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

17244: Update docs for -cgroup-parent-subsystem flag.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Clarify log message.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20797: Update cross compilation detection logic

The immediate bug that needs to be fixed is that we currently don't
support cross compilation on rocky8.

DRY up the code to try to make it easier to follow what's going on
here.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Note Alma/CentOS/Red Hat/Rocky 8 support in install docs

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Copyedit "CentOS" for consistent capitalization

I left the upgrade notes alone since they're more anchored in time, but
this should get the rest of the documentation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Add basic documentation for how to add a new target distro

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Add basic intro documentation to build README

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Update bundler version in rocky8 Docker images

This updates the version to match our `Gemfile.lock` files and avoids a
warning.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Update for new createrepo package+executable name

In Debian 12 the package is named createrepo-c and it installs
/usr/bin/createrepo_c. With this change, the build script prefers that
name, but still looks for and uses `createrepo`.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Streamline setup of Python build variables

Instead of setting Debian defaults and overriding them,

1. set global defaults
2. set target-specific variables
3. set deb/rpm-specific defaults as needed

I hope this makes clearer what's actually a target-specific variable
vs. a regular difference between Debian and Red Hat, and so makes it
easier to add targets in the future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20797: Add initial support for rocky8 package builds

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20543-pip-install-virtualenv'

Closes #20543.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20543: Recommend users install Python packages in a virtualenv

`pip install --user` doesn't work on distributions that have adopted
PEP 668, including Debian 12+ and Ubuntu 23.04+.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20343-regexp-prefixes'

Closes #20343.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

17244: Use crunch-run's cgroup, not init's, for "host" stats.

This gets much closer to "everything on the host" with minimal
effort.

Tracking the furthest ancestor of crunch-run's cgroup might be even
better, but will require additional support in crunchstat.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Test findCgroup on cgroup files in crunchstat testdata.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20726-s3-session-release'

refs #20726

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20726: Fix unreleased session in s3 handler.

Caused subsequent requests with the same token to hang after reaching
expiry time.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Fix singularity reporting host stats as container stats.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Make -cgroup-parent-subsystem=X work in cgroups v2.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Refactor crunchstat to use cgroup unified/hybrid modes.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17244: Remove crunchstat debian package.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20731-user-guide-wb2'  refs #20731

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20726-s3list-pages'

refs #20726

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20726: Fix traversing projects/collections that precede page marker.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20731: Make some text changes & reorganization based on workbench 2 updates

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20726: Fix ListObjects[V2] pages duplicating last item on next page.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20726: Update s3ListObjects paging test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20667-maxsuper-atquota'

fixes #20667

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20684-user-install-doc-fixes'

Closes #20684.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Modernize pycurl dependency discussion

These instructions should be good for Debian 10+ and I'm assuming
corresponding Ubuntu too.

* Update libssl package name
* Clarify the command is good for multiple distros
* Prefer apt over apt-get

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Simplify curl dependency background

Specifying that the "Python SDK" depends on curl is needless detail
here.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Note tutorial expectations for all Crunch CLI tools

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Note crunchstat-summary can be installed in a virtualenv

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Copyedit tutorial expectations include

* Fix run-on sentence
* Clean up punctuation spacing

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Expand "Getting started at the command line" documentation

* Add more structure to the page
* Be explicit that we usually recommend using a VM
* Highlight that using our package repository is the simplest way to
  install tools
* List all the tools you can install, with more details

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20684: Clean up FUSE references in a-c-r install instructions

It looks like this page started as a copy of the corresponding FUSE
page, and we didn't update all the references.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20559-dav-concurrent-writes'

refs #20559

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Fixes salt bootstrapping on nodes by the installer. Refs #20665

Salt v3004 is no more regarded as 'stable', so the boostrapping script started
to fail. Asking for 'old-stable' fixes this, at least for some time.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20722-docker-upgrade'

fixes #20722

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20722: Update ContainerCreate usage for new docker client library.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20707-aws-compute-ami-cgroupsv1'. Closes #20707

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20722: Cleans up dependencies with 'go mod tidy'

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20722: Upgrades github.com/docker/docker to latest version.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20718-grpc-upgrade'. Closes #20718

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20718: Cleans up by running "go mod tidy -compat=1.17"

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20718: Upgrades google.golang.org/grpc to 1.56.1

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20343: Define Python regexps with raw strings

Prevent the DeprecationWarning added to Python 3.6 for unrecognized
string escape sequences. Found candidates by running:

    git grep --line-number -E '\bre\.\w+\([^r]*\\'

Most of the changes just add the raw string prefix `r` to these regexps,
but I did make some other readability improvements while I was at it,
including switching from regexps to plain string test methods where
appropriate.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20710-shlex-quoting'

Closes #20710.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20710: Remove old backwards compatibility import fallback

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20707: Don't rely on GRUB_CMDLINE_LINUX be empty in /etc/default/grub

Debian 11 AWS AMIs come with some settings added in that variable.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20710: Switch from pipes.quote to shlex.quote

pipes is deprecated in Python 3.11+ and slated to be removed in Python
3.13. Fortunately we only use pipes.quote, which is literally the same
as shlex.quote:

    >>> import pipes
    <stdin>:1: DeprecationWarning: 'pipes' is deprecated and slated for removal in Python 3.13
    >>> import shlex
    >>> pipes.quote is shlex.quote
    True

Switch to that instead for continued support.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20707: Updates default to Debian 11 AMI. Forces cgroups v1 for crunchstat.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20559: Trim session count explicitly instead of using LRU cache.

The LRU cache automatically implemented the session count limit by
dropping the oldest session, which would break our "one session per
token" rule (by evicting a session and creating a new one while the
old session was still in use) when there were more active sessions
than the configured limit.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Doc: Update the included note about Workbench 2 transition.

Reword the text to center the Workbench 2.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Working with an Arvados git repository"

- Updated inline elements for Workbench 2.

TODO: Should double-check the instructions of using Workbench when a git
repo is ready.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Adding a new Arvados git repository"

- Updated inline elements and the first 2 figures for Workbench 2.

TODO: The last figure remains to be updated.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Starting a Workflow at the Command Line"

A minor fix for the mention of starting a workflow from Workbench.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Trashing and untrashing data"

Revised the part about untrashing using Workbench for Workbench 2,
including replacing the figure.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Add a figure caption in "Downloading data".

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Downloading data".

- Updated the inline content for Workbench 2.
- Added a new screenshot for the creation of sharing URL.

TODO: The view of the URL from the PoV of the recipient has not been
updated.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Uploading data"

- Updated the text for Workbench 2 and expanded the steps.
- Removed the old figures and replaced them with new ones from Workbench
  2.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Remove reference to "dashboard" in template about adding SSH key

- The "dashboard" is no longer a named component of the Workbench UI.
- The <h3> under the <h1> is superfluous.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Accessing an Arvados VM with SSH - Unix Environments"

- Updated the included template about adding SSH keys, to reflect
  changes in Workbench 2. A screenshot was updated.
- Added slightly more context to instructions about using ssh keypair
  and agent for the benefit of new users.
- Minor textual fixes for clarity.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Accessing an Arvados VM with Webshell"

- Updated inline elements for Workbench 2.
- Replaced screenshot with higher-definition and updated one.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Getting an API token".

- Updated the references to Workbench 2 UI elements.
- Expand and reword some instructions about creating file in shell
  (because a novice user may accidentally wipe out the file), and how
  appending to .bashrc does its job.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Running a workflow using Workbench"

- Updated the procedures to match the operations in Workbench2.
- Updated the styles of inline elements to match their roles in
  Workbench2.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Accessing Arvados Workbench" for Workbench 2

- Remove references to the "Dashboard"
- Replace the screenshot with higher-definition, updated one.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update Ruby dependencies and fix Rakefile

- Updated rubygems with "bundle update" for dependencies.
- Fixed Rakefile by replacing the obsoleted method aliases.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Merge branch '20606-reuse-preemptible'

fixes #20606

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20559: Explain locking strategy in comments.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20559: Refactor session sharing.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20559: Garbage collect unused per-collection mutexes.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20559: Serialize writes for a given collection ID.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20559: Test concurrent writes using same token.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20606: Update retry tests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20665-installer-secrets-handling'. Closes #20665

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20665: Fixes logic script error & minor docs improvements.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20606: Don't reuse unstarted preemptible ctr for non-preemptible cr.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20667: Add InitialQuotaEstimate config.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20619-arv-client-libfuse'  closes #20619

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20665: Provides examples on how to securely handle the secrets file.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20665: Code style improvements.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20667: Add at_quota metric.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20667: Adjust timeout/retry settings to address occasional failures.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20667: Reduce max supervisors if pool reaches cloud quota.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20619: Add test arvados-client executable starts

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20663-login-sync-config'

Closes #20663.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20619: Add fpm-info for arvados-client to depend on fuse

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20663: Expand the default SyncIgnoredGroups

We discussed at standup that we prioritize the security of the default
configuration over backwards compatibility. This new default does that.

The list of groups is primarily informed by:
<https://wiki.debian.org/SystemGroups#Other_System_Groups>
<https://docs.fedoraproject.org/en-US/packaging-guidelines/UsersAndGroups/#_list_of_statically_allocated_uidgid_and_corresponding_package>

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20663: Merge 2.6.3 upgrading notes

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20663: Add IgnoredGroups configuration to arvados-login-sync

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>