22424: Write dedicated tests for packageVersion schema

This exercises the intended behavior more thoroughly, and avoids a
failure in case packages have been built in the work tree before.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22422-dependencies-update'

closes #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22422: Upgrades RailsAPI's dependencies to the latest versions

Addresses some potential security issues:

* actionpack: CVE-2024-47887, CVE-2024-41128, CVE-2024-54133
* actiomailer: CVE-2024-47889
* actiontext: CVE-2024-47888
* rails-html-sanitizer: CVE-2024-53989, CVE-2024-53987, CVE-2024-53988,
  CVE-2024-53986, CVE-2024-53985

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22422: Upgrades github.com/golang-jwt/jwt/v4 to address CVE-2024-51744

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22422: Upgrades golang.org/x/net to address CWE-770

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22422: Upgrades golang.org/x/crypto to address CVE-2024-45337

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '22400-spot-price-paging'

fixes #22400

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22400: Fix AWS SDK usage.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22349-doc-updates'

Refs #22349. Closes #22396, #22397.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Refresh health check example output

No specific need but I was checking if I needed to do other updates here
so figured I might as well.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Include systemd's edit prompts

I hope this makes it a little easier to follow where you need to make
the change.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Correct syntax for multiple units in start_service

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Update RailsAPI ConfigURLs docs for standalone deployment

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22232-rails-dynamic-index-limit'

Refs #22232.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22232: Explain why we don't use pg_column_size to limit database reads

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22232: Apply database read limit logic to all "large" columns

We recently had another situation where a query for logs that happened
to have very large properties (changes to a large container request)
caused a DoS. Rather than hardcoding which columns should be affected by
database read limits, introspect them and use all potentially-unbounded
columns.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Pin googleauth more specifically for arvados-google-api-client

The usual rationale of Ruby 2.7 support. Refs #22227.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22349-passenger-6-0-23'

Closes #22349, #22389, #22392.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add RailsAPI to the logs dashboard

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Compile our own Passenger agent from Rails postinst

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22349-deploy-bundle-passenger'

Refs #22349.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Restore conditional confdir setup in RailsAPI postinst

When I originally wrote d1b63dc072d5f80ddb8e56d0919e70f8e8df73c4, I
thought `install` would not change the ownership or permissions of an
existing directory. I was mistaken. This reverts that commit to restore
the conditional logic, and adds the empty $WWW_OWNER logic to it.

22349: Add upgrade note about enabling RailsAPI service

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add diagnostic if expect_grep fails

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Read drop-ins on demand in RailsAPI package test

The RHEL tests as written were buggy because they never reloaded the
drop-in configurations after `dnf reinstall`. Just read them on demand.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Exclude libnsl2 from focal dependencies

As commented, it's included with glibc.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Accommodate no WWW_OWNER in confdir setup

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Test RailsAPI service overrides

This provides a basic check that the RailsAPI postinst extends the
service definition with appropriate distro-specific configuration.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Clean up Rails package test scripts

RailsAPI is the only one left. Make the "common" script just be the
RailsAPI test script and remove the rest.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Make systemctl conditional in RailsAPI postinst

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22231-browser-warnings'

closes #22231

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: removed react-loader-spinner from package.json

* also removed some trailing whitespace

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22363-railsapi-gemfile-update'

Refs #22363.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22319-replace-segments'

closes #22319

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22116-process-panel-polling' into main. Closes #22116

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22363: Use different TestDiscoveryDocCache error method

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Remove web service detection code from Rails postinst

No longer needed now that we run Passenger standalone.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add curl dependency to RailsAPI package

Required by passenger-config to download the runtime.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Rails API package depends on libnss-systemd

Because our RailsAPI service uses DynamicUser, this is required for
Passenger to be able to find its own user database entry.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Refine Passenger agent install

* Don't call `install-agent` because `install-standalone-runtime` does
  that anyway.
* Pass options to `install-standalone-runtime` more appropriate for a
  postinst script that should either work or not.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add RailsAPI systemd service definition

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22363: Update RailsAPI's arvados gem dependency

Ideally this would've been done as part of preparing the Arvados 3.0.0
release, but it's not a huge deal since RailsAPI doesn't actually depend
on any new functionality in the gem.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22363: Update bundled Passenger

To get a curl-related security update. Pin the version we're using while
we're at it, since we plan to make this part of the deployment going
forward (see #22349).

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22319: Merge branch 'main' into 22319-replace-segments

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22319: Clarify documentation.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Revert "22231: updated redux-form to latest"

This reverts commit e02be1188e7b3be20c59caf20599ee7a0ec1c858.

The newer version of redux-form introduces significant bugs in testing

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22298-local-params' refs #22298

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22298: Added Zoe's patch

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22298: For single node install, list all the roles to be installed

I also applied Zoe's patch which allows installer.sh to properly
handle this variable being blank, but I think it is better to be
explicit.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22231: refactored loadRecentQueries triggers to remove infinite loop

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: made loadRecentQueries return a copied array rather than mutating the original

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: moved loadRecentQueries call so it happens before serach dropdown transition

* Also reversed the order of recent queries so the most recent is the highest

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22364: Apply new gemspec version logic to login-sync

Literally a copy-paste of the sdk/cli code.
Refs #22364.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22364: Bugfix Rubygem "exact version" operator spelling

Refs #22364.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22231: added missing MouseWheelEvent alias to fix TypeScript error

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22116: Bump cross-spawn to address CVE-2024-21538

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Apply change made to version-at-commit.sh to arvados_version.py

Brings the Python code in line with 3a122933b4

This strips leading "development-" from the generated version string.
Version strings are derived from tags, which are usually just the bare
version number.  However, in order to get development versions to
interact properly with release branches, we sometimes need to apply
version tags with a "development-" prefix to the main branch.

no issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22116: Add WebSocketService tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '22364-arvados-cli-dep-version'

Refs #22364.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22116: Enable/disable process page polling based on websocket status

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22116: Convert WebSocketService to singleton

Allows easier status checking without involving the store
Moves connection parameter initialization to connect() so that
consumers checking connection status need not pass config params
on the constructor / getInstance

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '22058-cwltest-plugin' refs #22058

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22364: Improve gem version construction

* Consider dependencies when constructing a development timestamp,
  including version-at-commit.sh.
* For internal dependencies, use ~> for development dependencies,
  == otherwise.

This ports the arvados_version.py logic from #21601 into Ruby.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Run RailsAPI as a standalone Passenger service

The primary motivation for this is to be able to run Passenger with the
same version of Ruby that RailsAPI depends on. On RHEL8, the official
Passenger packages depend on the system Ruby 2.5, which is too old for
us to use.

A secondary benefit is that this simplifies installation for everyone by
eliminating the need for a separate Passenger install and nginx
integration.

A tertiary benefit is that the systemd service definition can better
handle some preparation work that we were previously doing in the
postinst script.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Only remove arvados-api-server RPM files after final erasure

Without this, during `dnf reinstall arvados-api-server`, the %preun
scriptlet is called with an argument >0. The scriptlet removes
`/var/www/arvados-api/current/.bundle`, which causes `bundle` commands
in `postinst.sh` to fail.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Copyedit punctuation in API install docs

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Install RailsAPI gems with --no-document

Purely an optimization for space and time savings.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Run rake through bundle

I don't know how this worked without Bundle. It doesn't if you do a base
install on RHEL 8.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Streamline Rails build scripts

Mostly get rid of step2.sh, which was primarily there to add functions
to support upstart and systemd simultaneously. Now that upstart is out
of the picture, it's easy to ditch the whole file.

Similarly removed httpd detection code. That hasn't been tested for a
while either.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Update RailsAPI package dependencies

This includes:

* Ruby dependencies that should declare that we no longer support RVM.
* Undeclared dependencies of the dependent gems and the postinst script.
* Dependencies of Passenger so we can run it standalone.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add RailsAPI Passengerfile

These are settings that we're willing to use across both development and
production. The hope is this can be a baseline for building a standalone
Passenger systemd service for deployment.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22084: Give 3.0.0 upgrade notes their own anchor

Refs #22084

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22231: updated redux-form to latest

* this got rid of 2 warnings, but not all redux-form warnings

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: changed form-data to use styles directly instead of classnames

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: removed paperClassName prop where unneeded

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22317-compute-node-ansible'

Refs #22317.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22231: fixed invalid <pre> nesting

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: fixed more tooltip refs

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: removed mutuallyExclusive prop warning

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: removed adaptv4Theme

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22058: Fix "dubious ownership"

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22058: test_with_arvbox switches internal arvados checkout

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22317: Authorize additional keys from `compute_authorized_keys`

This serves two purposes. One, it gives the administrator a way to build
a compute node without having the dispatcher's private key. Two, it
simplifies development testing: you can just point this at your public
SSH key to build a node.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22058: Update test_with_arvbox to use new cwltest

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22317: Explain the different ways of getting the dispatcher public key

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Reword outdated comment

We still support suite suffixes because it's a convenient way to DRY
configuration, but build.sh doesn't exist anymore.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Get compute node settings from cluster configuration

This reduces the risk that Ansible configuration and cluster
configuration get out of sync.

We can use this same technique in other Ansible install playbooks we
write in the future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Don't hardcode Ansible scp -O option

This isn't available on older versions of scp. Tell the user how to
identify the problem and configure it if needed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Add instructions to install necessary Packer plugins

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Fix type of AWS string-bool variables

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Use git:// transport to support --depth

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22231: fixed nested div error

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: fixed tooltip prop for vm panel

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: fixed tooltip props for fave icons

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: aligned wrap/container props per MUI rules

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: copied react-loader-spinner in and referenced it directly

* necessary to fix DOM nesting error in WOrkbench

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22317: Remove compute node image build.sh

It is replaced by a process where the user edits Ansible and Packer
configuration files in place, then runs the appropriate tool directly.

While it was nice that build.sh saved you from knowing the details of
how tools were configured, it was becoming more difficult to maintain as
we grew more options. It also requires the user to remember the full
build.sh command they used if they want to build a new version for a new
base AMI, new Arvados release, etc. This improves that situation by
letting the user keep configuration files they can keep and update as
needed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22231: aligned spacing/container props per MUI rules

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: aligned item/xs props per MUI rules

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22231: aligned container/direction props per MUI rules

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>