21926: Generalize GPU support

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21926: Pull through more complete ROCm support

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21926: GPU support hack for testing.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21926: Log information about GPUs

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21926: Support allocating GPUs separately or together

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21926: Provide CgroupPermissions

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21926: Initial work on ROCm support

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22314: Correctly use CrunchRunCommand and CrunchRunArgumentsList

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22314: Fix and polish logging

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22314: Add basic resource accounting to crunch-dispatch-local

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21547-retryable-db-error' refs #21547

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21547: Fix reference to db connection

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21547: Fix ruby syntax and add tests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22467-extra-fulltext-index'

fixes #22467

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21547: Don't retry row_lock_for_priority_update deadlocks

It seems like retrying a deadlock is counter productive -- it ties up
a request slot and holds a transaction open.  I believe returning a
500 error and having the client retry will be more robust.

This also adjusts the locking query to select and order by the primary
key (id).  This is speculative and based on a stack overflow comment
suggesting that the doing lock ordering on a field other than the
primary key causes rows to be first acquired with share locks (out of
order) and then subsequently converted to exclusive locks (in order),
and this can be avoided by using the primary key.

Since I haven't been able to determine any other reason the ordered
locking, which is specifically implemented to prevent deadlocks but
deadlocks anyway, it's worth a shot.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21547: Return certain database errors as 500 for retry

ActiveRecord errors which are related to locking or communicating with
the database should be returned as code 500 so the client knows to
retry.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22414-max-rails-requests'

fixes #22414

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22435-no-migration-timeouts'

fixes #22435

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22467: Remove unneeded search index.

Removed in 7f4d69cf43a7a743a491105665b3b878a3cfd11c and re-added by
20240402162733_add_output_glob_index_to_containers.rb in
dcdf385b2852acf95f41e2340d07cd68cb34e371.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22435: Allow database connection options to be missing.

These were silently accepted before and accidentally became mandatory
in 1b9c6f10d4f9786ac574dfaa3f7e43295c0e90f1.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22435: Refine shell style in new migrate commands

* Prefer `env -C` over `cd` to avoid changing global state.
* Declare local variables where possible.
* Remove needless eval.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22434-spot-check-warning'

fixes #22434

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22434: Reword spot check error message: "inconclusive".

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22435: URL-encode All The Strings in database connection string.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22435: Add "migrate" command to run-tests.sh

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22435: Disable statement timeout during db migrations.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22411-keepstore-index-timeout'

fixes #22411

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22434: Fix spot check error message that lies about retrying.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22431-tunnel-log-spam'

fixes #22431

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22431: Add comments about runTunnel return value.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22428-run-tests-targets'

Refs #22428.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22431: Remove spammy/debug logs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22434: Reword spot check error messages to be less spooky.

Also, update logic to avoid emitting confusing logs/runtime_status if
we get an interruption notice followed by an error.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22428: Guard target list against undefined/incorrect WORKSPACE

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22428: Better anchor excluded test function regexp

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22414: Increase default MaxConcurrentRailsRequests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Fix hardcoded port number in test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Update Hijack usage in websocket server.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Do not apply RequestTimeout to keepstore index handler.

This updates our code to account for the ResponseController pattern
(see https://tip.golang.org/doc/go1.20#http_responsecontroller):

Update prometheus client library to a newer version whose middleware
supports Unwrap.

Use http.NewResponseController(w).Hijack() instead of probing for the
Hijack() interface.

Use a explicit function call to disable the request timeout when
needed, instead of magically detecting whether the connection has been
hijacked.

(Our old way of detecting hijacking doesn't work if it's done via
ResponseController.  Since we're adding an explicit "disable timeout"
mechanism anyway, it's much simpler to just write "hijack and cancel
timeout" when needed, rather than implement a new way to detect
hijacking.)

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Test that keepstore index is exempt from RequestTimeout.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22428: Make run-tests.sh target lists complete

* Remove the static target list from helpmessage.

* Move all top-level code below all function definitions so it's easier
  to follow the flow of execution.

* Automatically generate testfuncargs based on defined test functions.

* Use testfuncargs as the source of available targets.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Restore libgnutls28-dev to ubuntu2004 Docker image

On this distro only, libgnutls28-dev is required to build pycurl. We can
build without it on every other distro. Refs #22318.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22318-ansible-test-node'

Refs #22318. Closes #22335.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add `become: yes` to privilege-nspawn-vm

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove s3cmd from deps.go

run-tests.sh already installs it in a virtualenv, which is easier and
more reliable.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove obsolete dependencies from various builds

The rationale for all these removals is in
6a2b9dfc3813a4086c71dce9a8732789262fb27f.
This commit just removes the same dependencies from other build processes.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22159-data-explorer-refactor'

closes #22159

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22424-api-package-version-test'

Closes #22424, #22425.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22407-railsapi-rubyopt'

Closes #22407, #22423.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Disable syntax_suggest in RailsAPI

This feature was added in Ruby 3.2. The rationale for disabling it is
the same as for the other error extension features we've disabled.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22159: removed unused resources param

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Downgrades additional gems to regain ruby2.7 compatibility. Refs #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Downgrades nokogiri to a ruby 2.7 compatible version. Refs #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22424: Write dedicated tests for packageVersion schema

This exercises the intended behavior more thoroughly, and avoids a
failure in case packages have been built in the work tree before.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Add test that Passenger disables exception gems

See previous commit's message for detailed rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Disable exception extension gems for RailsAPI

The API server sometimes includes raw exception messages in error
responses. In production, we do not want these messages to be extended
with development information. This avoids leaking more information than
intended, keeps messages more consistent for clients, and improves
performance.

Given that we want this in production, we also want this behavior for
integration tests, so clients under test see behavior from the API
server that's as close to production as possible.

Setting RUBYOPT in Passengerfile.json is the single place that ensures
consistent behavior. If a developer ever wants these features turned
back on during API server development, they can do so by running
`passenger --envvar=RUBYOPT=`.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Install s3cmd in run-tests

This is easy to do and lets us run more tests.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove obsolete checks from run-tests

* gnutls.h: You need a TLS backend for curl, but the specific one
  doesn't matter. We already check for curl; the odds that the user
  installed one without TLS are near-zero (Debian doesn't package
  one by itself).

* libattr1: This used to be required for llfuse (required by
  services/fuse), but they have since switched to sys/xattr.h
  provided by glibc.

* graphviz: Used to be required by Workbench 1.

* pandoc: I guess this was required to generate R SDK documentation,
  but it isn't anymore.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add r-cran-testthat test dependency

A test dependency, rather than a build dependency, of sdk/R.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22422-dependencies-update'

closes #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22318: Introduce playbook to add privileges to a systemd-nspawn VM

See comments for explanation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22422: Upgrades RailsAPI's dependencies to the latest versions

Addresses some potential security issues:

* actionpack: CVE-2024-47887, CVE-2024-41128, CVE-2024-54133
* actiomailer: CVE-2024-47889
* actiontext: CVE-2024-47888
* rails-html-sanitizer: CVE-2024-53989, CVE-2024-53987, CVE-2024-53988,
  CVE-2024-53986, CVE-2024-53985

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22422: Upgrades github.com/golang-jwt/jwt/v4 to address CVE-2024-51744

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22318: Introduce playbook to build a Debian VM from scratch

See comments for background.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22422: Upgrades golang.org/x/net to address CWE-770

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22422: Upgrades golang.org/x/crypto to address CVE-2024-45337

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22318: Configure FUSE with user_allow_other in test environments

Since Crunch relies on it, and we run Crunch in the tests, we need it
here too.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22159: replaced Resource with ProcessResource and aligned related types

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: removed unused param, aligned two identical types

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22318: Update compute_singularity to follow install documentation

* Install from a release rather than Git, for simplicity.
* Install pkg-config as a dependency.
* Ensure `GOPATH/bin` is in $PATH.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Introduce install-test-env.yml

See introductory comments for background.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add arvados_database Ansible role

This sets up a login role, database owned by that role, and required
pg_trgm extension. So far it has only been tested on nodes where
PostgreSQL is running on the same node, but it is not written to assume
that. It should be possible to run this role on remote servers if you
configure it with superuser connection parameters.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add arvados_postgresql Ansible role

For nodes where we want to run the database server.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add version to arvados_go destdir

Most of our other tools are already doing this, and it makes it trivial
to check whether or not we have already installed the version we want.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add become requirements to compute_singularity

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Avoid unnecessary builds in compute_singularity

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Declare become requirements in arvados_docker role

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Separate Ansible Docker install vs. compute configuration

arvados_docker takes care of installing the version we want with pins,
etc. compute_docker takes care of compute node configuration and
integration.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Separate arvados_go role from compute_singularity

For build nodes that need Go but not Singularity.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22400-spot-price-paging'

fixes #22400

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22159: restored an onContextMenu that was previously removed

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: removed DataTableItem type in favor of Resource type

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: fixed search-results-panel-view onItemClick

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: changed DataExplorer oncontextmenu to accept Resource instead of any

* changed type sigs in several places to account for this change
* removed unused extractKey and onContextMenu from group-details-panel
* removed unnecessary resources param in collection-content-address-panel.tsx and public-favorites-panel.tsx

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22400: Fix AWS SDK usage.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22159: refined a few type signatures

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22349-doc-updates'

Refs #22349. Closes #22396, #22397.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Refresh health check example output

No specific need but I was checking if I needed to do other updates here
so figured I might as well.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Include systemd's edit prompts

I hope this makes it a little easier to follow where you need to make
the change.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Correct syntax for multiple units in start_service

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Update RailsAPI ConfigURLs docs for standalone deployment

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22232-rails-dynamic-index-limit'

Refs #22232.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22232: Explain why we don't use pg_column_size to limit database reads

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22232: Apply database read limit logic to all "large" columns

We recently had another situation where a query for logs that happened
to have very large properties (changes to a large container request)
caused a DoS. Rather than hardcoding which columns should be affected by
database read limits, introspect them and use all potentially-unbounded
columns.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Pin googleauth more specifically for arvados-google-api-client

The usual rationale of Ruby 2.7 support. Refs #22227.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22349-passenger-6-0-23'

Closes #22349, #22389, #22392.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add RailsAPI to the logs dashboard

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Compile our own Passenger agent from Rails postinst

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22349-deploy-bundle-passenger'

Refs #22349.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Restore conditional confdir setup in RailsAPI postinst

When I originally wrote d1b63dc072d5f80ddb8e56d0919e70f8e8df73c4, I
thought `install` would not change the ownership or permissions of an
existing directory. I was mistaken. This reverts that commit to restore
the conditional logic, and adds the empty $WWW_OWNER logic to it.