22051: removed getResourceWithEditableStatus and associated unit test

* removed test's functionality is covered in resource-to-menukind.cy.js

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22051: refactored getResourceWithEditableStatus

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22051: context menu comp tests pass

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22051: replaced all resourceToContextMenuKinds with resourceToMenuKind

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22051: created new resourceToMenuKind function

* also applied some memoization to resource getters

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22434-spot-check-warning'

fixes #22434

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22434: Reword spot check error message: "inconclusive".

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22411-keepstore-index-timeout'

fixes #22411

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22434: Fix spot check error message that lies about retrying.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22431-tunnel-log-spam'

fixes #22431

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22431: Add comments about runTunnel return value.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22428-run-tests-targets'

Refs #22428.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22431: Remove spammy/debug logs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22434: Reword spot check error messages to be less spooky.

Also, update logic to avoid emitting confusing logs/runtime_status if
we get an interruption notice followed by an error.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22428: Guard target list against undefined/incorrect WORKSPACE

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22428: Better anchor excluded test function regexp

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22411: Fix hardcoded port number in test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Update Hijack usage in websocket server.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Do not apply RequestTimeout to keepstore index handler.

This updates our code to account for the ResponseController pattern
(see https://tip.golang.org/doc/go1.20#http_responsecontroller):

Update prometheus client library to a newer version whose middleware
supports Unwrap.

Use http.NewResponseController(w).Hijack() instead of probing for the
Hijack() interface.

Use a explicit function call to disable the request timeout when
needed, instead of magically detecting whether the connection has been
hijacked.

(Our old way of detecting hijacking doesn't work if it's done via
ResponseController.  Since we're adding an explicit "disable timeout"
mechanism anyway, it's much simpler to just write "hijack and cancel
timeout" when needed, rather than implement a new way to detect
hijacking.)

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Test that keepstore index is exempt from RequestTimeout.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22428: Make run-tests.sh target lists complete

* Remove the static target list from helpmessage.

* Move all top-level code below all function definitions so it's easier
  to follow the flow of execution.

* Automatically generate testfuncargs based on defined test functions.

* Use testfuncargs as the source of available targets.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Restore libgnutls28-dev to ubuntu2004 Docker image

On this distro only, libgnutls28-dev is required to build pycurl. We can
build without it on every other distro. Refs #22318.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22318-ansible-test-node'

Refs #22318. Closes #22335.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add `become: yes` to privilege-nspawn-vm

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove s3cmd from deps.go

run-tests.sh already installs it in a virtualenv, which is easier and
more reliable.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove obsolete dependencies from various builds

The rationale for all these removals is in
6a2b9dfc3813a4086c71dce9a8732789262fb27f.
This commit just removes the same dependencies from other build processes.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22159-data-explorer-refactor'

closes #22159

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22424-api-package-version-test'

Closes #22424, #22425.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22407-railsapi-rubyopt'

Closes #22407, #22423.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Disable syntax_suggest in RailsAPI

This feature was added in Ruby 3.2. The rationale for disabling it is
the same as for the other error extension features we've disabled.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22159: removed unused resources param

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Downgrades additional gems to regain ruby2.7 compatibility. Refs #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Downgrades nokogiri to a ruby 2.7 compatible version. Refs #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22424: Write dedicated tests for packageVersion schema

This exercises the intended behavior more thoroughly, and avoids a
failure in case packages have been built in the work tree before.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Add test that Passenger disables exception gems

See previous commit's message for detailed rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Disable exception extension gems for RailsAPI

The API server sometimes includes raw exception messages in error
responses. In production, we do not want these messages to be extended
with development information. This avoids leaking more information than
intended, keeps messages more consistent for clients, and improves
performance.

Given that we want this in production, we also want this behavior for
integration tests, so clients under test see behavior from the API
server that's as close to production as possible.

Setting RUBYOPT in Passengerfile.json is the single place that ensures
consistent behavior. If a developer ever wants these features turned
back on during API server development, they can do so by running
`passenger --envvar=RUBYOPT=`.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Install s3cmd in run-tests

This is easy to do and lets us run more tests.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove obsolete checks from run-tests

* gnutls.h: You need a TLS backend for curl, but the specific one
  doesn't matter. We already check for curl; the odds that the user
  installed one without TLS are near-zero (Debian doesn't package
  one by itself).

* libattr1: This used to be required for llfuse (required by
  services/fuse), but they have since switched to sys/xattr.h
  provided by glibc.

* graphviz: Used to be required by Workbench 1.

* pandoc: I guess this was required to generate R SDK documentation,
  but it isn't anymore.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add r-cran-testthat test dependency

A test dependency, rather than a build dependency, of sdk/R.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22422-dependencies-update'

closes #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22318: Introduce playbook to add privileges to a systemd-nspawn VM

See comments for explanation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22422: Upgrades RailsAPI's dependencies to the latest versions

Addresses some potential security issues:

* actionpack: CVE-2024-47887, CVE-2024-41128, CVE-2024-54133
* actiomailer: CVE-2024-47889
* actiontext: CVE-2024-47888
* rails-html-sanitizer: CVE-2024-53989, CVE-2024-53987, CVE-2024-53988,
  CVE-2024-53986, CVE-2024-53985

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22422: Upgrades github.com/golang-jwt/jwt/v4 to address CVE-2024-51744

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22318: Introduce playbook to build a Debian VM from scratch

See comments for background.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22422: Upgrades golang.org/x/net to address CWE-770

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22422: Upgrades golang.org/x/crypto to address CVE-2024-45337

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22318: Configure FUSE with user_allow_other in test environments

Since Crunch relies on it, and we run Crunch in the tests, we need it
here too.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22159: replaced Resource with ProcessResource and aligned related types

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: removed unused param, aligned two identical types

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22318: Update compute_singularity to follow install documentation

* Install from a release rather than Git, for simplicity.
* Install pkg-config as a dependency.
* Ensure `GOPATH/bin` is in $PATH.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Introduce install-test-env.yml

See introductory comments for background.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add arvados_database Ansible role

This sets up a login role, database owned by that role, and required
pg_trgm extension. So far it has only been tested on nodes where
PostgreSQL is running on the same node, but it is not written to assume
that. It should be possible to run this role on remote servers if you
configure it with superuser connection parameters.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add arvados_postgresql Ansible role

For nodes where we want to run the database server.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add version to arvados_go destdir

Most of our other tools are already doing this, and it makes it trivial
to check whether or not we have already installed the version we want.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add become requirements to compute_singularity

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Avoid unnecessary builds in compute_singularity

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Declare become requirements in arvados_docker role

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Separate Ansible Docker install vs. compute configuration

arvados_docker takes care of installing the version we want with pins,
etc. compute_docker takes care of compute node configuration and
integration.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Separate arvados_go role from compute_singularity

For build nodes that need Go but not Singularity.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22400-spot-price-paging'

fixes #22400

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22159: restored an onContextMenu that was previously removed

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: removed DataTableItem type in favor of Resource type

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: fixed search-results-panel-view onItemClick

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: changed DataExplorer oncontextmenu to accept Resource instead of any

* changed type sigs in several places to account for this change
* removed unused extractKey and onContextMenu from group-details-panel
* removed unnecessary resources param in collection-content-address-panel.tsx and public-favorites-panel.tsx

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22400: Fix AWS SDK usage.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22159: refined a few type signatures

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22349-doc-updates'

Refs #22349. Closes #22396, #22397.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Refresh health check example output

No specific need but I was checking if I needed to do other updates here
so figured I might as well.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Include systemd's edit prompts

I hope this makes it a little easier to follow where you need to make
the change.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Correct syntax for multiple units in start_service

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Update RailsAPI ConfigURLs docs for standalone deployment

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22232-rails-dynamic-index-limit'

Refs #22232.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22232: Explain why we don't use pg_column_size to limit database reads

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22232: Apply database read limit logic to all "large" columns

We recently had another situation where a query for logs that happened
to have very large properties (changes to a large container request)
caused a DoS. Rather than hardcoding which columns should be affected by
database read limits, introspect them and use all potentially-unbounded
columns.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Pin googleauth more specifically for arvados-google-api-client

The usual rationale of Ruby 2.7 support. Refs #22227.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22349-passenger-6-0-23'

Closes #22349, #22389, #22392.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add RailsAPI to the logs dashboard

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Compile our own Passenger agent from Rails postinst

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22349-deploy-bundle-passenger'

Refs #22349.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Restore conditional confdir setup in RailsAPI postinst

When I originally wrote d1b63dc072d5f80ddb8e56d0919e70f8e8df73c4, I
thought `install` would not change the ownership or permissions of an
existing directory. I was mistaken. This reverts that commit to restore
the conditional logic, and adds the empty $WWW_OWNER logic to it.

22349: Add upgrade note about enabling RailsAPI service

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add diagnostic if expect_grep fails

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Read drop-ins on demand in RailsAPI package test

The RHEL tests as written were buggy because they never reloaded the
drop-in configurations after `dnf reinstall`. Just read them on demand.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Exclude libnsl2 from focal dependencies

As commented, it's included with glibc.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Accommodate no WWW_OWNER in confdir setup

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Test RailsAPI service overrides

This provides a basic check that the RailsAPI postinst extends the
service definition with appropriate distro-specific configuration.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Clean up Rails package test scripts

RailsAPI is the only one left. Make the "common" script just be the
RailsAPI test script and remove the rest.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Make systemctl conditional in RailsAPI postinst

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22231-browser-warnings'

closes #22231

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: removed react-loader-spinner from package.json

* also removed some trailing whitespace

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: removed most datacolumn render param type annotations

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: removed unused onCreateDialog declarations

* also removed some excess spacing for readability

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: aligned all data tabel click handlers

Also:
* removed unused onRowClick method and prop from user-panel
* removed unused FavoritesPanelActionProps interface
* removed unused AllProcessesPanelActionProps interface

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: fixed context menu for collection-content-address-panel

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: fixed collection-content-address-panel row click functions

* also fixed crash when using the back button to navigate to collection-content-address-panel while details panel is open

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22363-railsapi-gemfile-update'

Refs #22363.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22319-replace-segments'

closes #22319

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22116-process-panel-polling' into main. Closes #22116

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22159: changed renderBodyRow to accept T instead of any

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: changed renderUsername and renderEmail to accept UserResource type

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>