22349: Add curl dependency to RailsAPI package

Required by passenger-config to download the runtime.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Rails API package depends on libnss-systemd

Because our RailsAPI service uses DynamicUser, this is required for
Passenger to be able to find its own user database entry.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Refine Passenger agent install

* Don't call `install-agent` because `install-standalone-runtime` does
  that anyway.
* Pass options to `install-standalone-runtime` more appropriate for a
  postinst script that should either work or not.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add RailsAPI systemd service definition

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Run RailsAPI as a standalone Passenger service

The primary motivation for this is to be able to run Passenger with the
same version of Ruby that RailsAPI depends on. On RHEL8, the official
Passenger packages depend on the system Ruby 2.5, which is too old for
us to use.

A secondary benefit is that this simplifies installation for everyone by
eliminating the need for a separate Passenger install and nginx
integration.

A tertiary benefit is that the systemd service definition can better
handle some preparation work that we were previously doing in the
postinst script.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Only remove arvados-api-server RPM files after final erasure

Without this, during `dnf reinstall arvados-api-server`, the %preun
scriptlet is called with an argument >0. The scriptlet removes
`/var/www/arvados-api/current/.bundle`, which causes `bundle` commands
in `postinst.sh` to fail.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Copyedit punctuation in API install docs

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Install RailsAPI gems with --no-document

Purely an optimization for space and time savings.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Run rake through bundle

I don't know how this worked without Bundle. It doesn't if you do a base
install on RHEL 8.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Streamline Rails build scripts

Mostly get rid of step2.sh, which was primarily there to add functions
to support upstart and systemd simultaneously. Now that upstart is out
of the picture, it's easy to ditch the whole file.

Similarly removed httpd detection code. That hasn't been tested for a
while either.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Update RailsAPI package dependencies

This includes:

* Ruby dependencies that should declare that we no longer support RVM.
* Undeclared dependencies of the dependent gems and the postinst script.
* Dependencies of Passenger so we can run it standalone.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22349: Add RailsAPI Passengerfile

These are settings that we're willing to use across both development and
production. The hope is this can be a baseline for building a standalone
Passenger systemd service for deployment.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22084: Give 3.0.0 upgrade notes their own anchor

Refs #22084

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22317-compute-node-ansible'

Refs #22317.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Authorize additional keys from `compute_authorized_keys`

This serves two purposes. One, it gives the administrator a way to build
a compute node without having the dispatcher's private key. Two, it
simplifies development testing: you can just point this at your public
SSH key to build a node.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Explain the different ways of getting the dispatcher public key

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Reword outdated comment

We still support suite suffixes because it's a convenient way to DRY
configuration, but build.sh doesn't exist anymore.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Get compute node settings from cluster configuration

This reduces the risk that Ansible configuration and cluster
configuration get out of sync.

We can use this same technique in other Ansible install playbooks we
write in the future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Don't hardcode Ansible scp -O option

This isn't available on older versions of scp. Tell the user how to
identify the problem and configure it if needed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Add instructions to install necessary Packer plugins

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Fix type of AWS string-bool variables

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Use git:// transport to support --depth

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Remove compute node image build.sh

It is replaced by a process where the user edits Ansible and Packer
configuration files in place, then runs the appropriate tool directly.

While it was nice that build.sh saved you from knowing the details of
how tools were configured, it was becoming more difficult to maintain as
we grew more options. It also requires the user to remember the full
build.sh command they used if they want to build a new version for a new
base AMI, new Arvados release, etc. This improves that situation by
letting the user keep configuration files they can keep and update as
needed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Copyedit common compute node instructions for clarity

Mostly trying to make the relationships between different files and
configuration settings more explicit.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Update version-at-commit.sh to handle "development-" prefix tags

Added a long comment explaining how versioning relates to the release
process.

no issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22327-container-request-index' refs #22327

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22327: Set statement timeout in case adding the index takes too long

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22317: Let arvados_pin_version pin the package release

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Tidy whitespace

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Clean default AdminUsername

Remove duplicate entry. Make the default value match what the compute
node image builder sets up.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Support Ubuntu apt repository setup

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Define GOPATH for Singularity build

Place it under the temporary build directory to avoid cluttering the
image filesystem.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Expand configuration line regexps

Be willing to overwrite indented commented-out lines.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Don't become to install Go

It isn't necessary, just like it isn't for the rest of the Singularity
build process.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Replace compute image base.sh with an Ansible playbook

The hope is that this will be more maintainable and extendable, and
allow us to start building towards a general Ansible installer.

This Ansible playbook was written and tested against Ansible 8.7.0,
because Ansible 8.x seems to be the version that supports most of the
Pythons we care about. This might need refinement in the future.

The Ansible playbook supports all the same deployment configurations as
base.sh, but there are some differences in the way it goes about things:

* It no longer configures GRUB for cgroups v1 because Arvados supports
  cgroups v2 now.

* It installs software to /opt instead of /var/lib/arvados, because
  software doesn't belong in /var and none of this is Arvados software
  specifically looking for that path.

* It only installs either Docker or Singularity as required, not both.

* It builds Singularity in a temporary directory that it cleans up
  afterwards to save space in the AMI.

* It sets up the encrypted partition script as a systemd service rather
  than a cloud-init script so we can be more explicit about the ordering
  requirements. The service orders itself before SSH so it has a chance to
  finish before the Crunch dispatcher is able to SSH in. If it fails, that
  will be reflected in systemctl's system state, and therefore our default
  BootProbeCommand as well.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Remove noop variable assignments

JSON_FILE gets overwritten by the getopt code later. The rest of these
variables are no longer used in the script.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22327: Add index to container_requests on (name, owner_uuid)

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22316-test-fixes'

fixes #22316

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22000-deleting-favorites' into main. Closes #22000

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Add comments

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Route all favorites refreshes through validation path

Removes tree updating functionality from fetchFavoritesResources
and fetchPublicFavoritesLinks

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Remove any types from setFaves and load public faves

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Add comment

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Add tests for delete/restore favorited resources

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22316: Don't enable cypress interactive mode unless DISPLAY is set.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22000: Remove unused imports

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22316: `arvados-server install` option to add user to docker group.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22217-packer-keypair-type'

Closes #22217, #22251.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Improve readability of CUDA deb download

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22000: Add flag to control writing nodes to favorites tree, eliminates flickering

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Update resource store with trashed resources, refresh favorites after

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Refresh favorites after deleting processes permanently

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Filter out 404/trashed resources when loading favorites

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Add common resource error checker for 404

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21743-users-include-trash'

fixes #21743

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22029-crunch-run-install-dir'

closes #22029

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22217: Add contrib apt component only on Debian

It's a Debian-specific name. Ubuntu doesn't use it.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Disable nvidia-persistenced.service only if it exists

It doesn't seem to come with more recent NVIDIA packages.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Enable contrib suites with our own code, not add-apt-repository

add-apt-repository does not seem to be aware of .sources files, which
are becoming more common in modern releases of Debian and Ubuntu.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Make apt less quiet

This still suppresses progress reports, which are the noisiest output,
but lets apt report more information about errors when they occur.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21743: Don't check include_trash if controller does not load it.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22217: Improve RESOLVER set check

Avoid an unset variable error.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Pin cuda package version

Recent versions depend on more recent versions of the NVIDIA driver than
we want to install. This basically keeps the cuda version in sync with
the driver version we've already pinned.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Clean up EBS autoscale code

Remove commented out code. Use fewer commands to do the same work.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Make crunch SSH setup more idempotent

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22029: Add DeployRunnerDirectory config.

Previously hardcoded to "/tmp/arvados-crunch-run".

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22217: Modernize NVIDIA repository setup

The main functional thing this accomplishes is using the CUDA keyring
package instead of the old individual key files. It also uses new
source setup patterns.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Configure Docker via daemon.json rather than systemd

This is less fiddly and easier to extend.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Make curl options more consistent

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Consolidate apt configuration and installation

Rather than having all this scattered across the build script, first
configure apt as much as possible, then install packages, then configure
those packages.

This makes it easier to see what the entire apt configuration is. It
also makes the compute script run faster since it reduces the number of
times apt has to load the package database.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Add note about Red Hat 8 package streams to upgrade notes, refs #21273

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Revise the 3.0 upgrade notes a bit. refs #22084

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Restore rendering HTML tags in registered workflow panel, refs #21944

This feature was reverted by accident in a merge conflict.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22217: Modernize temporary_key_pair_type on AWS compute node builds

This setting causes the Packer EBS plugin to create a temporary ed25519
key for the build which works on more modern distros.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22299: Merge nvidia container package pins

Just to help make it clearer that they need to be kept in sync and avoid
mistakes where that doesn't happen. Refs #22299.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Add nvidia-container-toolkit pin, refs #22299

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22199-content-address-fixes'

closes #22199

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22285-architecture-page' refs #22285

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22285: Arrows should be same size now

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22199: cleanup

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22281-keepweb-pg-conn'

closes #22281

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22285: Add arvados-server subcommands

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22199: removed actions column and forceMultiselectMode

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch 'main' into 22199-content-address-fixes

refs #22199

Merged to pull in changes in 22235

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22281: Adds keep-web's IP address to PG's ACL

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '22235-toolbar-access-fixes'

closes #22235

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22199: fixed row leftclick

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22285: Still tinkering with the diagram

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22285: Update architecture diagram some more

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22235: moved toolbar filter for groups to catch all cases

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22235: moved select params so they don't get overwritten

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Redo the architecture layout to improve readability

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22184-concurrent-mkcol'

fixes #22184

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Add database access requirement to keep-web install docs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Update arch diagram to include keep-web database access.

Also remove arv-git-httpd.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Add upgrade note about keep-web database access requirement.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22235: applied extra select fields only to process fetches

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22235: fixed context-menu-action test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22235: tweaked frozenManageableProject menu

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22184: Don't look up remote-hosted collections in local DB.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>