20750/20927: Add TODO about network error handling

The commit message for 9717f88d29310067fa70e19fb9afb3679c036bc4 says:

> This may also provide better behavior in cases of network hiccups or
> other remote server turbulence.

This was written with the expectation that those problems would raise
`HTTPClient::BadResponseError`. That was mistaken. Those problems
actually raise lower-level socket exceptions instead.

We now have a ticket to improve the error handling here. It's out of
scope for #20750, since the error handling is no worse than it was
before the branch.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20750: Fix comment typo

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20612-diag-ctr-api-access'

closes #20612

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20612: Fix up punctuation/capitalization in docs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20913-user-profile' refs #20913

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20840: Fix broken url

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20919-fix-proxy-url'

fixes #20919

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20850: Don't show wb2 deprecation notice to anonymous users

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20840: Add deprecations to upgrade notes

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20840: Add warning boxes to legacy APIs and rearrange API listing

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20850: Fix test selector

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20850: Add deprecation notice & wb2 redirect to every page

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20612: Document diagnostics image building / container options.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20612: Set DEBIAN_FRONTEND=noninteractive for container build.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20899-wf-delete' refs #20899

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

github-207: Fix outgoing Host header in proxy request.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20915: Add missing import to _pycurlhelper

Closes #20915.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20913: Fix test to check that use profile gets saved

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Fix for cached files from arvados-controller
Arvados-DCO-1.1-Signed-off-by: George Chlipala <gchlip2@uic.edu>

20862: Revert i18n to earlier version for rails 5 compatibility.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20862: Update gemfiles to use arvados-2.7.0.rc2.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20862: Update gemfiles to use arvados-2.7.0.rc1.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20862: Fix i18n dependency to not conflict with Rails 6.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20877-trashed-priority' refs #20877

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20862: Merge branch 'main' into 20862-google-api-client

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20839-pysdk-deprecations'

Closes #20839.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20862: Re-run bundle after deleting bogus locally cached gem files.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20877: Do not create log or output collections if parent is frozen or trashed

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20757-ctr-shell-settings'

fixes #20757

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20836: Update test_select for Py<3.8 compatibility

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20839: Mark deprecated PySDK functions as such

This is in preparation to remove these from the SDK in Arvados 3.0.

These changes exacerbated the circular import between the top-level
arvados and util, which had knock-off effects on other import
statements, causing them to see the world differently (like whether
`arvados.api` is a module or function). Most of the import-related
shuffling is meant to mitigate all that.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20839: Add order_key to select in keyset_list_all

Like uuid, the main loop requires this field.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20839: Replace arvados.util.mkdir_dash_p calls throughout

In preparation to deprecate the function.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20839: Replace arvados.util.list_all calls throughout

In preparation to deprecate this function. This does leave a couple
calls in arv-docker-migrate19, but that command will also be deprecated
and removed at least as soon as the function.

The changes to the the sdk/cwl/tests/test_submit.py mocks are necessary
because of mechanical differences between list_all and keyset_list_all.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

test fixup

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20899: Add menu item to delete workflow record

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20757: Split tests into separate funcs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18874: Fix run-tests.sh test targets.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18874: Merge branch 'main' into 18874-merge-wb2

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20612: Run diagnostics from inside the test container too.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20839: Optimize list sort

Trivial optimization I noticed while working around here.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20839: Replace arvados.util.run_command calls in arv-copy

In preparation for deprecating this function.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20839: Remove old Python 2 TextIOWrapper shim

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20889: Fixes Keep S3 bucket instructions.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20889: Adds documentation explaining the use of TLS cert keys encryption.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20889: Fixes installer.sh indentation to match the how provision.sh is written.

It had a mix of space-based and tab-based indentation that made code a bit
difficult to read.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20889: Checks that cert files are present before trying to use them.

Also, some documentation fixes.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20757: `arvados-client shell` uses settings.conf if present.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20877-trashed-priority' refs #20877

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20894-instances-default' refs #20894

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20889: Fixes a bug when database & controller roles are on a single node.

The database role gets handled first, so the controller node gets removed
from the list and then when checking if multiple nodes were available, the
code path for a single controller didn't checked if the node was already
removed from the node list.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20889: Allows customization on database name and user.

Also, allows specifying external PG service for the single host cases.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20889: Allows configurable S3 bucket name and IAM profile for Keep backend.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20889: Adds config handling of external database service.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20889: Removes unnecessary documentation about rolling upgrades.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20884-rocky8-copy' refs #20884

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20884: Update Makefile copy rule to accommodate rocky8

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20889: Removes DISABLED_CONTROLLER from the user-editable local.params file.

As the rolling upgrade procedure is done automatically, this is not needed
and could cause confusion by being on local.params

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20750: Fix documentation link typo

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20889: Sets default values for environment variables.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20829-can-manage' refs #20829

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20750: Reorder remote token validation strategy

See updated comments for an explanation of why we do queries in the
order that we do. Briefly, now that getting the current API client
authorization is no longer subject to token scopes, that query has the
best chance of telling us immediately whether or not the token is
valid. If that query succeeds, but the current user query fails, we
might still be able to load a user record from the database from the
token's owner_uuid, and use that.

The immediate application for this change is sharing tokens with limited
scopes. When the user creates such a token, we expect they're doing so
using a token with unlimited scopes, and their user record will have
been loaded into the database at that time. Then visitors using the
sharing token will be able to authorize from that database record,
without having permission to query the full user record (and see the
creator's name and email address) directly.

This may also provide better behavior in cases of network hiccups or
other remote server turbulence. Now only one query *needs* to succeed,
the current token API call.

With these changes, it seemed appropriate to propagate any remote error
status codes back to the client, so they can also distinguish permanent
authorization failures from temporary ones. To do that, we attach an
`http_status` singleton method to the original
HTTPClient::BadResponseError. ApplicationController#render_error already
uses that method to determine the status code to return to the client,
and this commit extends CurrentApiToken with similar behavior. Before
this commit, there were definitely other cases that could raise
unhandled exceptions; I assume they were previously all returning
generic error codes, and probably untested. I think this is improved
behavior that makes sense with the rest of the change.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20889: Adds configurable data retention parameter for Prometheus.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

18874: `arvados-server boot` uses workbench2 in main repo.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18874: `arvados-server install` uses workbench2 in main repo.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20890-remove-wb1-switch'  refs #20890

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18874: Fix arvados-boot source dir.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20603-trash-show-all' refs #20603

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18874: Skip `arvados-server install`.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20862: Update arvados gem version.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18874: Fix gopath in test script.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18874: Don't run workbench2 integration tests in docker.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18874: Make `run-tests.sh --only services/workbench2` work.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20862: Update mocha gem.

Previous versions are not compatible with new minitest.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Revert "20894: Change default retention on prometheus to 90 days"

This reverts commit 15e554b5da9d4da9447e547abd536c53be069a21.

According to Lucas, this doesn't actually work.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20884: Add rocky8 to list of build targets

refs #20884

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20894: Change default retention on prometheus to 90 days

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20890: Remove "Switch to workbench 1" menu item

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18874: Don't try to run arvados-server install from run-tests.sh.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20889: Install Prometheus server from archives instead of package repo.

This avoids some incompatibilities (at least on Ubuntu 20.04) with grafana.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20617-shared-with-me-filtering' into main. Closes #20617

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

20894: Set LimitLogBytesPerJob to 0

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18874: Use provided GOPATH, if any, in workbench2 Makefile recipe.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20862: Add test stub func for sdk/ruby-google-api-client.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20894: Wordsmithing

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20894: Change InitialQuotaEstimate and SupervisorFraction defaults.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20862: Improve exception messages.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18874: Move .licenseignore rules to top.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18874: Add workbench2 to run-tests.sh.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18874: Add 'services/workbench2/' from commit 'f6f88d9ca9cdeeeebfadcfe999789bfb9f69e5c6'

git-subtree-dir: services/workbench2
git-subtree-mainline: 6de571a660401585bc96dd92fd2563e9b64c58c6
git-subtree-split: f6f88d9ca9cdeeeebfadcfe999789bfb9f69e5c6

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20862: Update arvados gem version.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20862: Update components to latest arvados, google-api-client gems.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20862: Fix ruby sdk deps.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20862: Fix charset middleware.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20862: Fix faraday/gzip middleware.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20862: Fix ruby sdk dependencies.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20862: Fix arvados-google-api-client dependencies.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20862: Build arvados-google-api-client gem in run-tests.sh.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20862: Disable license header check for ruby-google-api-client.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20877: Fix missing 'and'

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20862: Add 'sdk/ruby-google-api-client/' from commit '2f4be67955e48bb65d008ecd9ff6da9d8fe77028'

git-subtree-dir: sdk/ruby-google-api-client
git-subtree-mainline: 6e91ab41ffa1509dd1d4e2b8ecb559dd429c6ea4
git-subtree-split: 2f4be67955e48bb65d008ecd9ff6da9d8fe77028

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>