Merge branch '20559-dav-concurrent-writes'

refs #20559

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Fixes salt bootstrapping on nodes by the installer. Refs #20665

Salt v3004 is no more regarded as 'stable', so the boostrapping script started
to fail. Asking for 'old-stable' fixes this, at least for some time.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20722-docker-upgrade'

fixes #20722

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20722: Update ContainerCreate usage for new docker client library.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20707-aws-compute-ami-cgroupsv1'. Closes #20707

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20722: Cleans up dependencies with 'go mod tidy'

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20722: Upgrades github.com/docker/docker to latest version.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20718-grpc-upgrade'. Closes #20718

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20718: Cleans up by running "go mod tidy -compat=1.17"

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20718: Upgrades google.golang.org/grpc to 1.56.1

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20343: Define Python regexps with raw strings

Prevent the DeprecationWarning added to Python 3.6 for unrecognized
string escape sequences. Found candidates by running:

    git grep --line-number -E '\bre\.\w+\([^r]*\\'

Most of the changes just add the raw string prefix `r` to these regexps,
but I did make some other readability improvements while I was at it,
including switching from regexps to plain string test methods where
appropriate.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20710-shlex-quoting'

Closes #20710.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20710: Remove old backwards compatibility import fallback

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20707: Don't rely on GRUB_CMDLINE_LINUX be empty in /etc/default/grub

Debian 11 AWS AMIs come with some settings added in that variable.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20710: Switch from pipes.quote to shlex.quote

pipes is deprecated in Python 3.11+ and slated to be removed in Python
3.13. Fortunately we only use pipes.quote, which is literally the same
as shlex.quote:

    >>> import pipes
    <stdin>:1: DeprecationWarning: 'pipes' is deprecated and slated for removal in Python 3.13
    >>> import shlex
    >>> pipes.quote is shlex.quote
    True

Switch to that instead for continued support.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20707: Updates default to Debian 11 AMI. Forces cgroups v1 for crunchstat.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20559: Trim session count explicitly instead of using LRU cache.

The LRU cache automatically implemented the session count limit by
dropping the oldest session, which would break our "one session per
token" rule (by evicting a session and creating a new one while the
old session was still in use) when there were more active sessions
than the configured limit.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Doc: Update the included note about Workbench 2 transition.

Reword the text to center the Workbench 2.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Working with an Arvados git repository"

- Updated inline elements for Workbench 2.

TODO: Should double-check the instructions of using Workbench when a git
repo is ready.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Adding a new Arvados git repository"

- Updated inline elements and the first 2 figures for Workbench 2.

TODO: The last figure remains to be updated.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Starting a Workflow at the Command Line"

A minor fix for the mention of starting a workflow from Workbench.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Trashing and untrashing data"

Revised the part about untrashing using Workbench for Workbench 2,
including replacing the figure.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Add a figure caption in "Downloading data".

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Downloading data".

- Updated the inline content for Workbench 2.
- Added a new screenshot for the creation of sharing URL.

TODO: The view of the URL from the PoV of the recipient has not been
updated.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Uploading data"

- Updated the text for Workbench 2 and expanded the steps.
- Removed the old figures and replaced them with new ones from Workbench
  2.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Remove reference to "dashboard" in template about adding SSH key

- The "dashboard" is no longer a named component of the Workbench UI.
- The <h3> under the <h1> is superfluous.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Accessing an Arvados VM with SSH - Unix Environments"

- Updated the included template about adding SSH keys, to reflect
  changes in Workbench 2. A screenshot was updated.
- Added slightly more context to instructions about using ssh keypair
  and agent for the benefit of new users.
- Minor textual fixes for clarity.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Accessing an Arvados VM with Webshell"

- Updated inline elements for Workbench 2.
- Replaced screenshot with higher-definition and updated one.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Getting an API token".

- Updated the references to Workbench 2 UI elements.
- Expand and reword some instructions about creating file in shell
  (because a novice user may accidentally wipe out the file), and how
  appending to .bashrc does its job.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Running a workflow using Workbench"

- Updated the procedures to match the operations in Workbench2.
- Updated the styles of inline elements to match their roles in
  Workbench2.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update "Accessing Arvados Workbench" for Workbench 2

- Remove references to the "Dashboard"
- Replace the screenshot with higher-definition, updated one.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

Doc: Update Ruby dependencies and fix Rakefile

- Updated rubygems with "bundle update" for dependencies.
- Fixed Rakefile by replacing the obsoleted method aliases.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

20610: Tweaks postgresql access control to allow multiple controller hosts.

Also, explicitly adds the dispatcher's IP to the ACL, in case is located
on a different node.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Tweaks controller's nginx pillar to support "balanced mode".

When balancer is enabled:

* SSL nginx is not needed
* Each controller should answer to its own hostname instead of the cluster's
  domain.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Updates arvados' pillar to handle the dispatcher's IP separately.

Also, re-arranges the _INT_IP envvars to be more explicit about IP sharing.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Adds the new pillars for the balancer role.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Adds 'balancer' role to the installer scripts.

Also, fixes a salt bootstrap issue dur to the fact that as of today, the 3004
version is no longer considered 'stable'.

Also, changes the way we use SSH so that no envvars are forwarded to remote
hosts, to avoid having 'setlocale' warnings mixed with salt cmd.run
outputs when using Debian distros to run the installer. This avoids issues
on the first run, before salt configures the remote node's locale.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20610: Removes unused keepstore reference from Terraform.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20606-reuse-preemptible'

fixes #20606

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20559: Explain locking strategy in comments.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20559: Refactor session sharing.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20559: Garbage collect unused per-collection mutexes.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20559: Serialize writes for a given collection ID.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20559: Test concurrent writes using same token.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20606: Update retry tests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20665-installer-secrets-handling'. Closes #20665

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20665: Fixes logic script error & minor docs improvements.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20606: Don't reuse unstarted preemptible ctr for non-preemptible cr.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20667: Add InitialQuotaEstimate config.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20619-arv-client-libfuse'  closes #20619

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20665: Provides examples on how to securely handle the secrets file.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20665: Code style improvements.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20667: Add at_quota metric.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20667: Adjust timeout/retry settings to address occasional failures.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20667: Reduce max supervisors if pool reaches cloud quota.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20619: Add test arvados-client executable starts

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20663-login-sync-config'

Closes #20663.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20619: Add fpm-info for arvados-client to depend on fuse

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20663: Expand the default SyncIgnoredGroups

We discussed at standup that we prioritize the security of the default
configuration over backwards compatibility. This new default does that.

The list of groups is primarily informed by:
<https://wiki.debian.org/SystemGroups#Other_System_Groups>
<https://docs.fedoraproject.org/en-US/packaging-guidelines/UsersAndGroups/#_list_of_statically_allocated_uidgid_and_corresponding_package>

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20663: Merge 2.6.3 upgrading notes

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20663: Add IgnoredGroups configuration to arvados-login-sync

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20663: Bugfix configuration lookup

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20425-fed-pdh-retry'

fixes #20425

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20425: Merge branch 'main' into 20425-fed-pdh-retry

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20663: Add configuration for arvados-login-sync

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20663: Clarify comment about what "safe" config means

I might've liked to reveal configuration to authenticated clients, but
not unauthenticated ones. Unfortunately the code doesn't currently
support that.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20663: Make arvados-login-sync actions configurable

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20663: Use set operations for group management

Make code more consistent for easier readability.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20663: Make minimum groups configurable

Note this no longer adds the user's own group to the membership
list. The administrator can control that by adjusting USERGROUPS_ENAB
in /etc/login.defs.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20663: Improve permissions and ownership handling

* Set permissions of everything at creation time.
* Only change ownership for things we touch.
* Manage group ownership as well as user
  (having things owned by user:root is weird).
* Modernize style.

This is preparation for allowing administrators to configure what
resources arvados-login-sync manages.

Note this means arvados-login-sync no longer changes permissions for a
user's home directory. The administrator can do that by setting UMASK
in /etc/login.defs.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20374-workflow-main-prop' refs #20374

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20660-r-sdk-pr-204'  refs #20660

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20374: add arv:workflowMain to metadata properties doc.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20660: Tweaks to eliminate check warnings

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20665: Updates single-host docs to reflect local.params.secrets addition.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20665: Updates documentation reflecting the new local.params.secrets file.

Also, fixes some old issues related to the use of ${CLUSTER} and ${DOMAIN}.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20665: Handles secrets on a separate file.

This allows the admin to give special treatment to it, to comply with security
policies that the local organization may have.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20664-java-sdk-pr-205' refs #20664

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20660: Add devtools::check to run_test.R

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Update README.md

correct order

Add \dontrun{} in documentation in Arvados.R

Add \dontrun{} in documentation in ArvadosFile.R

Add \dontrun{} in documentation in Collection.R

Arvados-DCO-1.1-Signed-off-by: Aneta Stanczyk <aneta.stanczyk@contractors.roche.com>

Merge branch '20643-login-sync-homedir-check'. Closes #20643

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20643: Skips user account processing earlier to avoid any partial configs.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Add new list method parameters: include_old_versions, include_trash

Arvados-DCO-1.1-Signed-off-by: Krzysztof Majewski majewski.kielce@gmail.com

Merge branch '20602-queue-metrics'

refs #20602

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20647-cr-logs-preflight'

fixes #20647

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20602: Allow lock requests to queue up to 2s (configurable).

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20652-cwl-poll-select' refs #20652

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20647: Improve comment on header deduplication.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20637-prefetch-threads' refs #20637

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20602: Report queue usage bucketed by priority.

Also report queue time stats for requests that are abandoned before
getting a processing slot.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20602: Report queue time for pos/neg/zero-priority reqs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20647: Fix duplicate response headers via reverse proxy.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20637: Fix tests

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20637: Fix arv-get

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20637: Move the prefetch thread pool to KeepClient

This avoids the problem of every Collection with its own BlockManager
creating its own prefetch thread pool, which becomes a resource leak
when reading files from 1000s of separate Collection objects.

The 'put' thread pool remains with the BlockManager but it now stops
the put threads on 'BlockManager.commit_all'.  This is because this
method always flushes pending blocks anyway, and is called before the
collection record is written to the API server -- so we can assume
we've just finished a batch of writes to that collection, and might
not need the put thread pool any more, and if we do, we can just make
a new one.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20602: Add queue metrics.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20652: When polling the API server, limit fields returned

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20647-cr-logs-preflight'

fixes #20647

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20601-supervisor-fraction' refs #20601

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20601: Rename Scheduler.maxSupervisors -> Scheduler.supervisorFraction

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>