22318: Remove obsolete checks from run-tests

* gnutls.h: You need a TLS backend for curl, but the specific one
  doesn't matter. We already check for curl; the odds that the user
  installed one without TLS are near-zero (Debian doesn't package
  one by itself).

* libattr1: This used to be required for llfuse (required by
  services/fuse), but they have since switched to sys/xattr.h
  provided by glibc.

* graphviz: Used to be required by Workbench 1.

* pandoc: I guess this was required to generate R SDK documentation,
  but it isn't anymore.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add r-cran-testthat test dependency

A test dependency, rather than a build dependency, of sdk/R.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Introduce playbook to add privileges to a systemd-nspawn VM

See comments for explanation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Introduce playbook to build a Debian VM from scratch

See comments for background.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Configure FUSE with user_allow_other in test environments

Since Crunch relies on it, and we run Crunch in the tests, we need it
here too.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Update compute_singularity to follow install documentation

* Install from a release rather than Git, for simplicity.
* Install pkg-config as a dependency.
* Ensure `GOPATH/bin` is in $PATH.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Introduce install-test-env.yml

See introductory comments for background.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add arvados_database Ansible role

This sets up a login role, database owned by that role, and required
pg_trgm extension. So far it has only been tested on nodes where
PostgreSQL is running on the same node, but it is not written to assume
that. It should be possible to run this role on remote servers if you
configure it with superuser connection parameters.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add arvados_postgresql Ansible role

For nodes where we want to run the database server.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add version to arvados_go destdir

Most of our other tools are already doing this, and it makes it trivial
to check whether or not we have already installed the version we want.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add become requirements to compute_singularity

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Avoid unnecessary builds in compute_singularity

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Declare become requirements in arvados_docker role

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Separate Ansible Docker install vs. compute configuration

arvados_docker takes care of installing the version we want with pins,
etc. compute_docker takes care of compute node configuration and
integration.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Separate arvados_go role from compute_singularity

For build nodes that need Go but not Singularity.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22349-doc-updates'

Refs #22349. Closes #22396, #22397.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Refresh health check example output

No specific need but I was checking if I needed to do other updates here
so figured I might as well.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Include systemd's edit prompts

I hope this makes it a little easier to follow where you need to make
the change.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Correct syntax for multiple units in start_service

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Update RailsAPI ConfigURLs docs for standalone deployment

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22232-rails-dynamic-index-limit'

Refs #22232.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22232: Explain why we don't use pg_column_size to limit database reads

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22232: Apply database read limit logic to all "large" columns

We recently had another situation where a query for logs that happened
to have very large properties (changes to a large container request)
caused a DoS. Rather than hardcoding which columns should be affected by
database read limits, introspect them and use all potentially-unbounded
columns.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Pin googleauth more specifically for arvados-google-api-client

The usual rationale of Ruby 2.7 support. Refs #22227.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22349-passenger-6-0-23'

Closes #22349, #22389, #22392.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add RailsAPI to the logs dashboard

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Compile our own Passenger agent from Rails postinst

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22349-deploy-bundle-passenger'

Refs #22349.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Restore conditional confdir setup in RailsAPI postinst

When I originally wrote d1b63dc072d5f80ddb8e56d0919e70f8e8df73c4, I
thought `install` would not change the ownership or permissions of an
existing directory. I was mistaken. This reverts that commit to restore
the conditional logic, and adds the empty $WWW_OWNER logic to it.

22349: Add upgrade note about enabling RailsAPI service

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add diagnostic if expect_grep fails

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Read drop-ins on demand in RailsAPI package test

The RHEL tests as written were buggy because they never reloaded the
drop-in configurations after `dnf reinstall`. Just read them on demand.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Exclude libnsl2 from focal dependencies

As commented, it's included with glibc.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Accommodate no WWW_OWNER in confdir setup

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Test RailsAPI service overrides

This provides a basic check that the RailsAPI postinst extends the
service definition with appropriate distro-specific configuration.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Clean up Rails package test scripts

RailsAPI is the only one left. Make the "common" script just be the
RailsAPI test script and remove the rest.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Make systemctl conditional in RailsAPI postinst

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22231-browser-warnings'

closes #22231

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: removed react-loader-spinner from package.json

* also removed some trailing whitespace

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22363-railsapi-gemfile-update'

Refs #22363.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22319-replace-segments'

closes #22319

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22116-process-panel-polling' into main. Closes #22116

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22363: Use different TestDiscoveryDocCache error method

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Remove web service detection code from Rails postinst

No longer needed now that we run Passenger standalone.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add curl dependency to RailsAPI package

Required by passenger-config to download the runtime.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Rails API package depends on libnss-systemd

Because our RailsAPI service uses DynamicUser, this is required for
Passenger to be able to find its own user database entry.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Refine Passenger agent install

* Don't call `install-agent` because `install-standalone-runtime` does
  that anyway.
* Pass options to `install-standalone-runtime` more appropriate for a
  postinst script that should either work or not.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add RailsAPI systemd service definition

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22363: Update RailsAPI's arvados gem dependency

Ideally this would've been done as part of preparing the Arvados 3.0.0
release, but it's not a huge deal since RailsAPI doesn't actually depend
on any new functionality in the gem.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22363: Update bundled Passenger

To get a curl-related security update. Pin the version we're using while
we're at it, since we plan to make this part of the deployment going
forward (see #22349).

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22319: Merge branch 'main' into 22319-replace-segments

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22319: Clarify documentation.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Revert "22231: updated redux-form to latest"

This reverts commit e02be1188e7b3be20c59caf20599ee7a0ec1c858.

The newer version of redux-form introduces significant bugs in testing

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22298-local-params' refs #22298

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22298: Added Zoe's patch

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22298: For single node install, list all the roles to be installed

I also applied Zoe's patch which allows installer.sh to properly
handle this variable being blank, but I think it is better to be
explicit.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22231: refactored loadRecentQueries triggers to remove infinite loop

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: made loadRecentQueries return a copied array rather than mutating the original

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: moved loadRecentQueries call so it happens before serach dropdown transition

* Also reversed the order of recent queries so the most recent is the highest

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22364: Apply new gemspec version logic to login-sync

Literally a copy-paste of the sdk/cli code.
Refs #22364.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22364: Bugfix Rubygem "exact version" operator spelling

Refs #22364.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22231: added missing MouseWheelEvent alias to fix TypeScript error

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22116: Bump cross-spawn to address CVE-2024-21538

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Apply change made to version-at-commit.sh to arvados_version.py

Brings the Python code in line with 3a122933b4

This strips leading "development-" from the generated version string.
Version strings are derived from tags, which are usually just the bare
version number.  However, in order to get development versions to
interact properly with release branches, we sometimes need to apply
version tags with a "development-" prefix to the main branch.

no issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22116: Add WebSocketService tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '22364-arvados-cli-dep-version'

Refs #22364.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22116: Enable/disable process page polling based on websocket status

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22116: Convert WebSocketService to singleton

Allows easier status checking without involving the store
Moves connection parameter initialization to connect() so that
consumers checking connection status need not pass config params
on the constructor / getInstance

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '22058-cwltest-plugin' refs #22058

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22364: Improve gem version construction

* Consider dependencies when constructing a development timestamp,
  including version-at-commit.sh.
* For internal dependencies, use ~> for development dependencies,
  == otherwise.

This ports the arvados_version.py logic from #21601 into Ruby.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Run RailsAPI as a standalone Passenger service

The primary motivation for this is to be able to run Passenger with the
same version of Ruby that RailsAPI depends on. On RHEL8, the official
Passenger packages depend on the system Ruby 2.5, which is too old for
us to use.

A secondary benefit is that this simplifies installation for everyone by
eliminating the need for a separate Passenger install and nginx
integration.

A tertiary benefit is that the systemd service definition can better
handle some preparation work that we were previously doing in the
postinst script.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Only remove arvados-api-server RPM files after final erasure

Without this, during `dnf reinstall arvados-api-server`, the %preun
scriptlet is called with an argument >0. The scriptlet removes
`/var/www/arvados-api/current/.bundle`, which causes `bundle` commands
in `postinst.sh` to fail.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Copyedit punctuation in API install docs

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Install RailsAPI gems with --no-document

Purely an optimization for space and time savings.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Run rake through bundle

I don't know how this worked without Bundle. It doesn't if you do a base
install on RHEL 8.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Streamline Rails build scripts

Mostly get rid of step2.sh, which was primarily there to add functions
to support upstart and systemd simultaneously. Now that upstart is out
of the picture, it's easy to ditch the whole file.

Similarly removed httpd detection code. That hasn't been tested for a
while either.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Update RailsAPI package dependencies

This includes:

* Ruby dependencies that should declare that we no longer support RVM.
* Undeclared dependencies of the dependent gems and the postinst script.
* Dependencies of Passenger so we can run it standalone.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add RailsAPI Passengerfile

These are settings that we're willing to use across both development and
production. The hope is this can be a baseline for building a standalone
Passenger systemd service for deployment.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22084: Give 3.0.0 upgrade notes their own anchor

Refs #22084

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22231: updated redux-form to latest

* this got rid of 2 warnings, but not all redux-form warnings

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: changed form-data to use styles directly instead of classnames

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: removed paperClassName prop where unneeded

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22317-compute-node-ansible'

Refs #22317.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22231: fixed invalid <pre> nesting

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: fixed more tooltip refs

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: removed mutuallyExclusive prop warning

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: removed adaptv4Theme

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22058: Fix "dubious ownership"

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22058: test_with_arvbox switches internal arvados checkout

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22317: Authorize additional keys from `compute_authorized_keys`

This serves two purposes. One, it gives the administrator a way to build
a compute node without having the dispatcher's private key. Two, it
simplifies development testing: you can just point this at your public
SSH key to build a node.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22058: Update test_with_arvbox to use new cwltest

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22317: Explain the different ways of getting the dispatcher public key

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Reword outdated comment

We still support suite suffixes because it's a convenient way to DRY
configuration, but build.sh doesn't exist anymore.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Get compute node settings from cluster configuration

This reduces the risk that Ansible configuration and cluster
configuration get out of sync.

We can use this same technique in other Ansible install playbooks we
write in the future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Don't hardcode Ansible scp -O option

This isn't available on older versions of scp. Tell the user how to
identify the problem and configure it if needed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Add instructions to install necessary Packer plugins

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Fix type of AWS string-bool variables

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Use git:// transport to support --depth

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22231: fixed nested div error

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: fixed tooltip prop for vm panel

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>