22406: Improve error for non-JSON responses

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Remove needless map pointers

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Use super.RunProgram for pg_isready

Mainly this ensures we run `pg_isready` as postgres if we're root. It
also just removes a quirky special case from the code.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Reset libpq environment in arvados-server boot

This provides better isolation and more consistent spinup if the user or
run-tests set these variables.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Add port to run_test_server's default pgconnection

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Reorganize localdb login tests

* Rename login_ldap_docker_test→login_docker_test, following the suite
  rename for the same reason (it tests both LDAP and PAM).

* Remove individual test suites for these login methods. They're not
  testing anything the Docker suite can't test better thanks to
  controlling more of the authentication stack.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Use bitnami/openldap for testing

This seems to be the only OpenLDAP Docker image that's actually
maintained.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Unmarshal error responses directly in parseResponse

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Make "file not found" check more robust

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Remove redundant map pointer in updateConfig

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Check Close error in setUpConfig

Since this might mean we did not successfully write the new
configuration.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Move test description to suite

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Use cmd.Output() in ipFromCmd()

Simpler implementation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Set psql configuration from test config in run-tests.sh

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Report if no IP address is found

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Document login_ldap_docker_test

Add comments to the different pieces to functionality to help clarify
how they work together. Rename the new test suite to LoginDockerSuite
since it tests more than just LDAP.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Revamp login_ldap_docker_test

I swear this tests all the same functionality, I just completely
reorganized it in order to get in running in a wider variety of
environments. Here are the key improvements:

The test suite now creates a Docker network, and runs all its containers
inside that. This setup requires less cooperation from the host
network. It also means we can hardcode names and ports of different
services inside the container network. "All" we need to do is create
proxies on the network gateway for the controller to contact test
services running on the host. And even that's cleaner because now we can
bind on that single network gateway interface instead of every interface.

The tests now launch containers that correspond to the distro they're
running on to ensure that the built controller will actually work.

This revealed that libpam-ldap has been removed from Debian 12 for lack
of maintenance. I have reorganized the test to create plain passwd
accounts on container start, and then authenticate against that. While
this changes the PAM backend, we still test all the same PAM
authentication functionality.

To help make all this happen, write more of the test in Go rather than
shell. This let me better organize different parts of the test, and
write better test assertions. I hope this will make it easier for the
next developer to follow and work on.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Add jq+yq as a test dependency

This gives tests a common tool to read and edit cluster configuration.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Use subprocess.DEVNULL in run_test_server

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22406: Present available actions as argparse choices

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22414-max-rails-requests'

fixes #22414

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22435-no-migration-timeouts'

fixes #22435

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22435: Allow database connection options to be missing.

These were silently accepted before and accidentally became mandatory
in 1b9c6f10d4f9786ac574dfaa3f7e43295c0e90f1.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22435: Refine shell style in new migrate commands

* Prefer `env -C` over `cd` to avoid changing global state.
* Declare local variables where possible.
* Remove needless eval.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22434-spot-check-warning'

fixes #22434

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22434: Reword spot check error message: "inconclusive".

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22435: URL-encode All The Strings in database connection string.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22435: Add "migrate" command to run-tests.sh

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22435: Disable statement timeout during db migrations.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22411-keepstore-index-timeout'

fixes #22411

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22434: Fix spot check error message that lies about retrying.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22431-tunnel-log-spam'

fixes #22431

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22431: Add comments about runTunnel return value.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22428-run-tests-targets'

Refs #22428.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22431: Remove spammy/debug logs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22434: Reword spot check error messages to be less spooky.

Also, update logic to avoid emitting confusing logs/runtime_status if
we get an interruption notice followed by an error.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22428: Guard target list against undefined/incorrect WORKSPACE

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22428: Better anchor excluded test function regexp

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22414: Increase default MaxConcurrentRailsRequests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Fix hardcoded port number in test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Update Hijack usage in websocket server.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Do not apply RequestTimeout to keepstore index handler.

This updates our code to account for the ResponseController pattern
(see https://tip.golang.org/doc/go1.20#http_responsecontroller):

Update prometheus client library to a newer version whose middleware
supports Unwrap.

Use http.NewResponseController(w).Hijack() instead of probing for the
Hijack() interface.

Use a explicit function call to disable the request timeout when
needed, instead of magically detecting whether the connection has been
hijacked.

(Our old way of detecting hijacking doesn't work if it's done via
ResponseController.  Since we're adding an explicit "disable timeout"
mechanism anyway, it's much simpler to just write "hijack and cancel
timeout" when needed, rather than implement a new way to detect
hijacking.)

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Test that keepstore index is exempt from RequestTimeout.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22428: Make run-tests.sh target lists complete

* Remove the static target list from helpmessage.

* Move all top-level code below all function definitions so it's easier
  to follow the flow of execution.

* Automatically generate testfuncargs based on defined test functions.

* Use testfuncargs as the source of available targets.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Restore libgnutls28-dev to ubuntu2004 Docker image

On this distro only, libgnutls28-dev is required to build pycurl. We can
build without it on every other distro. Refs #22318.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22318-ansible-test-node'

Refs #22318. Closes #22335.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add `become: yes` to privilege-nspawn-vm

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove s3cmd from deps.go

run-tests.sh already installs it in a virtualenv, which is easier and
more reliable.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove obsolete dependencies from various builds

The rationale for all these removals is in
6a2b9dfc3813a4086c71dce9a8732789262fb27f.
This commit just removes the same dependencies from other build processes.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22159-data-explorer-refactor'

closes #22159

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22424-api-package-version-test'

Closes #22424, #22425.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22407-railsapi-rubyopt'

Closes #22407, #22423.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Disable syntax_suggest in RailsAPI

This feature was added in Ruby 3.2. The rationale for disabling it is
the same as for the other error extension features we've disabled.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22159: removed unused resources param

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Downgrades additional gems to regain ruby2.7 compatibility. Refs #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Downgrades nokogiri to a ruby 2.7 compatible version. Refs #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22424: Write dedicated tests for packageVersion schema

This exercises the intended behavior more thoroughly, and avoids a
failure in case packages have been built in the work tree before.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Add test that Passenger disables exception gems

See previous commit's message for detailed rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Disable exception extension gems for RailsAPI

The API server sometimes includes raw exception messages in error
responses. In production, we do not want these messages to be extended
with development information. This avoids leaking more information than
intended, keeps messages more consistent for clients, and improves
performance.

Given that we want this in production, we also want this behavior for
integration tests, so clients under test see behavior from the API
server that's as close to production as possible.

Setting RUBYOPT in Passengerfile.json is the single place that ensures
consistent behavior. If a developer ever wants these features turned
back on during API server development, they can do so by running
`passenger --envvar=RUBYOPT=`.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Install s3cmd in run-tests

This is easy to do and lets us run more tests.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove obsolete checks from run-tests

* gnutls.h: You need a TLS backend for curl, but the specific one
  doesn't matter. We already check for curl; the odds that the user
  installed one without TLS are near-zero (Debian doesn't package
  one by itself).

* libattr1: This used to be required for llfuse (required by
  services/fuse), but they have since switched to sys/xattr.h
  provided by glibc.

* graphviz: Used to be required by Workbench 1.

* pandoc: I guess this was required to generate R SDK documentation,
  but it isn't anymore.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add r-cran-testthat test dependency

A test dependency, rather than a build dependency, of sdk/R.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22422-dependencies-update'

closes #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22318: Introduce playbook to add privileges to a systemd-nspawn VM

See comments for explanation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22422: Upgrades RailsAPI's dependencies to the latest versions

Addresses some potential security issues:

* actionpack: CVE-2024-47887, CVE-2024-41128, CVE-2024-54133
* actiomailer: CVE-2024-47889
* actiontext: CVE-2024-47888
* rails-html-sanitizer: CVE-2024-53989, CVE-2024-53987, CVE-2024-53988,
  CVE-2024-53986, CVE-2024-53985

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22422: Upgrades github.com/golang-jwt/jwt/v4 to address CVE-2024-51744

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22318: Introduce playbook to build a Debian VM from scratch

See comments for background.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22422: Upgrades golang.org/x/net to address CWE-770

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22422: Upgrades golang.org/x/crypto to address CVE-2024-45337

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22318: Configure FUSE with user_allow_other in test environments

Since Crunch relies on it, and we run Crunch in the tests, we need it
here too.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22159: replaced Resource with ProcessResource and aligned related types

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: removed unused param, aligned two identical types

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22318: Update compute_singularity to follow install documentation

* Install from a release rather than Git, for simplicity.
* Install pkg-config as a dependency.
* Ensure `GOPATH/bin` is in $PATH.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Introduce install-test-env.yml

See introductory comments for background.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add arvados_database Ansible role

This sets up a login role, database owned by that role, and required
pg_trgm extension. So far it has only been tested on nodes where
PostgreSQL is running on the same node, but it is not written to assume
that. It should be possible to run this role on remote servers if you
configure it with superuser connection parameters.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add arvados_postgresql Ansible role

For nodes where we want to run the database server.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add version to arvados_go destdir

Most of our other tools are already doing this, and it makes it trivial
to check whether or not we have already installed the version we want.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add become requirements to compute_singularity

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Avoid unnecessary builds in compute_singularity

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Declare become requirements in arvados_docker role

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Separate Ansible Docker install vs. compute configuration

arvados_docker takes care of installing the version we want with pins,
etc. compute_docker takes care of compute node configuration and
integration.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Separate arvados_go role from compute_singularity

For build nodes that need Go but not Singularity.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22400-spot-price-paging'

fixes #22400

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22159: restored an onContextMenu that was previously removed

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: removed DataTableItem type in favor of Resource type

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: fixed search-results-panel-view onItemClick

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: changed DataExplorer oncontextmenu to accept Resource instead of any

* changed type sigs in several places to account for this change
* removed unused extractKey and onContextMenu from group-details-panel
* removed unnecessary resources param in collection-content-address-panel.tsx and public-favorites-panel.tsx

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22400: Fix AWS SDK usage.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22159: refined a few type signatures

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22349-doc-updates'

Refs #22349. Closes #22396, #22397.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Refresh health check example output

No specific need but I was checking if I needed to do other updates here
so figured I might as well.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Include systemd's edit prompts

I hope this makes it a little easier to follow where you need to make
the change.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Correct syntax for multiple units in start_service

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Update RailsAPI ConfigURLs docs for standalone deployment

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22232-rails-dynamic-index-limit'

Refs #22232.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22232: Explain why we don't use pg_column_size to limit database reads

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22232: Apply database read limit logic to all "large" columns

We recently had another situation where a query for logs that happened
to have very large properties (changes to a large container request)
caused a DoS. Rather than hardcoding which columns should be affected by
database read limits, introspect them and use all potentially-unbounded
columns.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Pin googleauth more specifically for arvados-google-api-client

The usual rationale of Ruby 2.7 support. Refs #22227.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22349-passenger-6-0-23'

Closes #22349, #22389, #22392.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add RailsAPI to the logs dashboard

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>