22318: Restore libgnutls28-dev to ubuntu2004 Docker image

On this distro only, libgnutls28-dev is required to build pycurl. We can
build without it on every other distro. Refs #22318.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22318-ansible-test-node'

Refs #22318. Closes #22335.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add `become: yes` to privilege-nspawn-vm

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove s3cmd from deps.go

run-tests.sh already installs it in a virtualenv, which is easier and
more reliable.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove obsolete dependencies from various builds

The rationale for all these removals is in
6a2b9dfc3813a4086c71dce9a8732789262fb27f.
This commit just removes the same dependencies from other build processes.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22159-data-explorer-refactor'

closes #22159

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22424-api-package-version-test'

Closes #22424, #22425.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22407-railsapi-rubyopt'

Closes #22407, #22423.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Disable syntax_suggest in RailsAPI

This feature was added in Ruby 3.2. The rationale for disabling it is
the same as for the other error extension features we've disabled.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22159: removed unused resources param

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Downgrades additional gems to regain ruby2.7 compatibility. Refs #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Downgrades nokogiri to a ruby 2.7 compatible version. Refs #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22424: Write dedicated tests for packageVersion schema

This exercises the intended behavior more thoroughly, and avoids a
failure in case packages have been built in the work tree before.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Add test that Passenger disables exception gems

See previous commit's message for detailed rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Disable exception extension gems for RailsAPI

The API server sometimes includes raw exception messages in error
responses. In production, we do not want these messages to be extended
with development information. This avoids leaking more information than
intended, keeps messages more consistent for clients, and improves
performance.

Given that we want this in production, we also want this behavior for
integration tests, so clients under test see behavior from the API
server that's as close to production as possible.

Setting RUBYOPT in Passengerfile.json is the single place that ensures
consistent behavior. If a developer ever wants these features turned
back on during API server development, they can do so by running
`passenger --envvar=RUBYOPT=`.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Install s3cmd in run-tests

This is easy to do and lets us run more tests.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove obsolete checks from run-tests

* gnutls.h: You need a TLS backend for curl, but the specific one
  doesn't matter. We already check for curl; the odds that the user
  installed one without TLS are near-zero (Debian doesn't package
  one by itself).

* libattr1: This used to be required for llfuse (required by
  services/fuse), but they have since switched to sys/xattr.h
  provided by glibc.

* graphviz: Used to be required by Workbench 1.

* pandoc: I guess this was required to generate R SDK documentation,
  but it isn't anymore.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add r-cran-testthat test dependency

A test dependency, rather than a build dependency, of sdk/R.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22422-dependencies-update'

closes #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22318: Introduce playbook to add privileges to a systemd-nspawn VM

See comments for explanation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22422: Upgrades RailsAPI's dependencies to the latest versions

Addresses some potential security issues:

* actionpack: CVE-2024-47887, CVE-2024-41128, CVE-2024-54133
* actiomailer: CVE-2024-47889
* actiontext: CVE-2024-47888
* rails-html-sanitizer: CVE-2024-53989, CVE-2024-53987, CVE-2024-53988,
  CVE-2024-53986, CVE-2024-53985

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22422: Upgrades github.com/golang-jwt/jwt/v4 to address CVE-2024-51744

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22318: Introduce playbook to build a Debian VM from scratch

See comments for background.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22422: Upgrades golang.org/x/net to address CWE-770

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22422: Upgrades golang.org/x/crypto to address CVE-2024-45337

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22318: Configure FUSE with user_allow_other in test environments

Since Crunch relies on it, and we run Crunch in the tests, we need it
here too.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22159: replaced Resource with ProcessResource and aligned related types

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: removed unused param, aligned two identical types

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22318: Update compute_singularity to follow install documentation

* Install from a release rather than Git, for simplicity.
* Install pkg-config as a dependency.
* Ensure `GOPATH/bin` is in $PATH.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Introduce install-test-env.yml

See introductory comments for background.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add arvados_database Ansible role

This sets up a login role, database owned by that role, and required
pg_trgm extension. So far it has only been tested on nodes where
PostgreSQL is running on the same node, but it is not written to assume
that. It should be possible to run this role on remote servers if you
configure it with superuser connection parameters.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add arvados_postgresql Ansible role

For nodes where we want to run the database server.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add version to arvados_go destdir

Most of our other tools are already doing this, and it makes it trivial
to check whether or not we have already installed the version we want.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add become requirements to compute_singularity

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Avoid unnecessary builds in compute_singularity

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Declare become requirements in arvados_docker role

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Separate Ansible Docker install vs. compute configuration

arvados_docker takes care of installing the version we want with pins,
etc. compute_docker takes care of compute node configuration and
integration.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Separate arvados_go role from compute_singularity

For build nodes that need Go but not Singularity.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22400-spot-price-paging'

fixes #22400

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22159: restored an onContextMenu that was previously removed

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: removed DataTableItem type in favor of Resource type

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: fixed search-results-panel-view onItemClick

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: changed DataExplorer oncontextmenu to accept Resource instead of any

* changed type sigs in several places to account for this change
* removed unused extractKey and onContextMenu from group-details-panel
* removed unnecessary resources param in collection-content-address-panel.tsx and public-favorites-panel.tsx

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22400: Fix AWS SDK usage.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22159: refined a few type signatures

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22349-doc-updates'

Refs #22349. Closes #22396, #22397.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Refresh health check example output

No specific need but I was checking if I needed to do other updates here
so figured I might as well.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Include systemd's edit prompts

I hope this makes it a little easier to follow where you need to make
the change.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Correct syntax for multiple units in start_service

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Update RailsAPI ConfigURLs docs for standalone deployment

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22232-rails-dynamic-index-limit'

Refs #22232.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22232: Explain why we don't use pg_column_size to limit database reads

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22232: Apply database read limit logic to all "large" columns

We recently had another situation where a query for logs that happened
to have very large properties (changes to a large container request)
caused a DoS. Rather than hardcoding which columns should be affected by
database read limits, introspect them and use all potentially-unbounded
columns.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Pin googleauth more specifically for arvados-google-api-client

The usual rationale of Ruby 2.7 support. Refs #22227.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22349-passenger-6-0-23'

Closes #22349, #22389, #22392.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add RailsAPI to the logs dashboard

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Compile our own Passenger agent from Rails postinst

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22349-deploy-bundle-passenger'

Refs #22349.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Restore conditional confdir setup in RailsAPI postinst

When I originally wrote d1b63dc072d5f80ddb8e56d0919e70f8e8df73c4, I
thought `install` would not change the ownership or permissions of an
existing directory. I was mistaken. This reverts that commit to restore
the conditional logic, and adds the empty $WWW_OWNER logic to it.

22349: Add upgrade note about enabling RailsAPI service

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add diagnostic if expect_grep fails

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Read drop-ins on demand in RailsAPI package test

The RHEL tests as written were buggy because they never reloaded the
drop-in configurations after `dnf reinstall`. Just read them on demand.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Exclude libnsl2 from focal dependencies

As commented, it's included with glibc.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Accommodate no WWW_OWNER in confdir setup

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Test RailsAPI service overrides

This provides a basic check that the RailsAPI postinst extends the
service definition with appropriate distro-specific configuration.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Clean up Rails package test scripts

RailsAPI is the only one left. Make the "common" script just be the
RailsAPI test script and remove the rest.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Make systemctl conditional in RailsAPI postinst

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22231-browser-warnings'

closes #22231

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: removed react-loader-spinner from package.json

* also removed some trailing whitespace

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: removed most datacolumn render param type annotations

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: removed unused onCreateDialog declarations

* also removed some excess spacing for readability

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: aligned all data tabel click handlers

Also:
* removed unused onRowClick method and prop from user-panel
* removed unused FavoritesPanelActionProps interface
* removed unused AllProcessesPanelActionProps interface

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: fixed context menu for collection-content-address-panel

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: fixed collection-content-address-panel row click functions

* also fixed crash when using the back button to navigate to collection-content-address-panel while details panel is open

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22363-railsapi-gemfile-update'

Refs #22363.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22319-replace-segments'

closes #22319

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22116-process-panel-polling' into main. Closes #22116

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22159: changed renderBodyRow to accept T instead of any

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: changed renderUsername and renderEmail to accept UserResource type

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: fixed renderModifiedByUserUuid to accept GroupContentsResource only

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: preserved type of resourceItems

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22363: Use different TestDiscoveryDocCache error method

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Remove web service detection code from Rails postinst

No longer needed now that we run Passenger standalone.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add curl dependency to RailsAPI package

Required by passenger-config to download the runtime.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Rails API package depends on libnss-systemd

Because our RailsAPI service uses DynamicUser, this is required for
Passenger to be able to find its own user database entry.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Refine Passenger agent install

* Don't call `install-agent` because `install-standalone-runtime` does
  that anyway.
* Pass options to `install-standalone-runtime` more appropriate for a
  postinst script that should either work or not.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

222159: changed datacolumn to accept single type argument

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: corrected some type annotations

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22349: Add RailsAPI systemd service definition

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22159: removed some stray casts

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22159: removed dispatchWrapper function

* also removed unneeded link param from RenderFullName as it is true in every case

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22363: Update RailsAPI's arvados gem dependency

Ideally this would've been done as part of preparing the Arvados 3.0.0
release, but it's not a huge deal since RailsAPI doesn't actually depend
on any new functionality in the gem.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22363: Update bundled Passenger

To get a curl-related security update. Pin the version we're using while
we're at it, since we plan to make this part of the deployment going
forward (see #22349).

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22159: un-exported store and re-imported COLLECTION_CREATE_FORM_NAME

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22319: Merge branch 'main' into 22319-replace-segments

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22319: Clarify documentation.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Revert "22231: updated redux-form to latest"

This reverts commit e02be1188e7b3be20c59caf20599ee7a0ec1c858.

The newer version of redux-form introduces significant bugs in testing

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22298-local-params' refs #22298

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22298: Added Zoe's patch

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22298: For single node install, list all the roles to be installed

I also applied Zoe's patch which allows installer.sh to properly
handle this variable being blank, but I think it is better to be
explicit.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>