Merge branch '22298-local-params' refs #22298

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22298: Added Zoe's patch

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22298: For single node install, list all the roles to be installed

I also applied Zoe's patch which allows installer.sh to properly
handle this variable being blank, but I think it is better to be
explicit.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22364: Apply new gemspec version logic to login-sync

Literally a copy-paste of the sdk/cli code.
Refs #22364.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22364: Bugfix Rubygem "exact version" operator spelling

Refs #22364.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Apply change made to version-at-commit.sh to arvados_version.py

Brings the Python code in line with 3a122933b4

This strips leading "development-" from the generated version string.
Version strings are derived from tags, which are usually just the bare
version number.  However, in order to get development versions to
interact properly with release branches, we sometimes need to apply
version tags with a "development-" prefix to the main branch.

no issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22364-arvados-cli-dep-version'

Refs #22364.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22058-cwltest-plugin' refs #22058

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22364: Improve gem version construction

* Consider dependencies when constructing a development timestamp,
  including version-at-commit.sh.
* For internal dependencies, use ~> for development dependencies,
  == otherwise.

This ports the arvados_version.py logic from #21601 into Ruby.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22084: Give 3.0.0 upgrade notes their own anchor

Refs #22084

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22317-compute-node-ansible'

Refs #22317.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22058: Fix "dubious ownership"

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22058: test_with_arvbox switches internal arvados checkout

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22317: Authorize additional keys from `compute_authorized_keys`

This serves two purposes. One, it gives the administrator a way to build
a compute node without having the dispatcher's private key. Two, it
simplifies development testing: you can just point this at your public
SSH key to build a node.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22058: Update test_with_arvbox to use new cwltest

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22317: Explain the different ways of getting the dispatcher public key

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Reword outdated comment

We still support suite suffixes because it's a convenient way to DRY
configuration, but build.sh doesn't exist anymore.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Get compute node settings from cluster configuration

This reduces the risk that Ansible configuration and cluster
configuration get out of sync.

We can use this same technique in other Ansible install playbooks we
write in the future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Don't hardcode Ansible scp -O option

This isn't available on older versions of scp. Tell the user how to
identify the problem and configure it if needed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Add instructions to install necessary Packer plugins

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Fix type of AWS string-bool variables

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Use git:// transport to support --depth

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Remove compute node image build.sh

It is replaced by a process where the user edits Ansible and Packer
configuration files in place, then runs the appropriate tool directly.

While it was nice that build.sh saved you from knowing the details of
how tools were configured, it was becoming more difficult to maintain as
we grew more options. It also requires the user to remember the full
build.sh command they used if they want to build a new version for a new
base AMI, new Arvados release, etc. This improves that situation by
letting the user keep configuration files they can keep and update as
needed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Add entrypoint that cwltest picks up to use CollectionFsAccess

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22317: Copyedit common compute node instructions for clarity

Mostly trying to make the relationships between different files and
configuration settings more explicit.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Update version-at-commit.sh to handle "development-" prefix tags

Added a long comment explaining how versioning relates to the release
process.

no issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22327-container-request-index' refs #22327

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22327: Set statement timeout in case adding the index takes too long

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22317: Let arvados_pin_version pin the package release

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Tidy whitespace

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Clean default AdminUsername

Remove duplicate entry. Make the default value match what the compute
node image builder sets up.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Support Ubuntu apt repository setup

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Define GOPATH for Singularity build

Place it under the temporary build directory to avoid cluttering the
image filesystem.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Expand configuration line regexps

Be willing to overwrite indented commented-out lines.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Don't become to install Go

It isn't necessary, just like it isn't for the rest of the Singularity
build process.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Replace compute image base.sh with an Ansible playbook

The hope is that this will be more maintainable and extendable, and
allow us to start building towards a general Ansible installer.

This Ansible playbook was written and tested against Ansible 8.7.0,
because Ansible 8.x seems to be the version that supports most of the
Pythons we care about. This might need refinement in the future.

The Ansible playbook supports all the same deployment configurations as
base.sh, but there are some differences in the way it goes about things:

* It no longer configures GRUB for cgroups v1 because Arvados supports
  cgroups v2 now.

* It installs software to /opt instead of /var/lib/arvados, because
  software doesn't belong in /var and none of this is Arvados software
  specifically looking for that path.

* It only installs either Docker or Singularity as required, not both.

* It builds Singularity in a temporary directory that it cleans up
  afterwards to save space in the AMI.

* It sets up the encrypted partition script as a systemd service rather
  than a cloud-init script so we can be more explicit about the ordering
  requirements. The service orders itself before SSH so it has a chance to
  finish before the Crunch dispatcher is able to SSH in. If it fails, that
  will be reflected in systemctl's system state, and therefore our default
  BootProbeCommand as well.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Remove noop variable assignments

JSON_FILE gets overwritten by the getopt code later. The rest of these
variables are no longer used in the script.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22327: Add index to container_requests on (name, owner_uuid)

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22316-test-fixes'

fixes #22316

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22000-deleting-favorites' into main. Closes #22000

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Add comments

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Route all favorites refreshes through validation path

Removes tree updating functionality from fetchFavoritesResources
and fetchPublicFavoritesLinks

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Remove any types from setFaves and load public faves

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Add comment

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Add tests for delete/restore favorited resources

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22316: Don't enable cypress interactive mode unless DISPLAY is set.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22000: Remove unused imports

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22316: `arvados-server install` option to add user to docker group.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22217-packer-keypair-type'

Closes #22217, #22251.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Improve readability of CUDA deb download

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22000: Add flag to control writing nodes to favorites tree, eliminates flickering

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Update resource store with trashed resources, refresh favorites after

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Refresh favorites after deleting processes permanently

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Filter out 404/trashed resources when loading favorites

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Add common resource error checker for 404

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21743-users-include-trash'

fixes #21743

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22029-crunch-run-install-dir'

closes #22029

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22217: Add contrib apt component only on Debian

It's a Debian-specific name. Ubuntu doesn't use it.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Disable nvidia-persistenced.service only if it exists

It doesn't seem to come with more recent NVIDIA packages.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Enable contrib suites with our own code, not add-apt-repository

add-apt-repository does not seem to be aware of .sources files, which
are becoming more common in modern releases of Debian and Ubuntu.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Make apt less quiet

This still suppresses progress reports, which are the noisiest output,
but lets apt report more information about errors when they occur.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21743: Don't check include_trash if controller does not load it.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22217: Improve RESOLVER set check

Avoid an unset variable error.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Pin cuda package version

Recent versions depend on more recent versions of the NVIDIA driver than
we want to install. This basically keeps the cuda version in sync with
the driver version we've already pinned.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Clean up EBS autoscale code

Remove commented out code. Use fewer commands to do the same work.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Make crunch SSH setup more idempotent

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22029: Add DeployRunnerDirectory config.

Previously hardcoded to "/tmp/arvados-crunch-run".

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22217: Modernize NVIDIA repository setup

The main functional thing this accomplishes is using the CUDA keyring
package instead of the old individual key files. It also uses new
source setup patterns.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Configure Docker via daemon.json rather than systemd

This is less fiddly and easier to extend.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Make curl options more consistent

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Consolidate apt configuration and installation

Rather than having all this scattered across the build script, first
configure apt as much as possible, then install packages, then configure
those packages.

This makes it easier to see what the entire apt configuration is. It
also makes the compute script run faster since it reduces the number of
times apt has to load the package database.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Add note about Red Hat 8 package streams to upgrade notes, refs #21273

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Revise the 3.0 upgrade notes a bit. refs #22084

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Restore rendering HTML tags in registered workflow panel, refs #21944

This feature was reverted by accident in a merge conflict.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22217: Modernize temporary_key_pair_type on AWS compute node builds

This setting causes the Packer EBS plugin to create a temporary ed25519
key for the build which works on more modern distros.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22299: Merge nvidia container package pins

Just to help make it clearer that they need to be kept in sync and avoid
mistakes where that doesn't happen. Refs #22299.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Add nvidia-container-toolkit pin, refs #22299

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22199-content-address-fixes'

closes #22199

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22285-architecture-page' refs #22285

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22285: Arrows should be same size now

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22199: cleanup

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22281-keepweb-pg-conn'

closes #22281

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22285: Add arvados-server subcommands

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22199: removed actions column and forceMultiselectMode

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch 'main' into 22199-content-address-fixes

refs #22199

Merged to pull in changes in 22235

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22281: Adds keep-web's IP address to PG's ACL

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '22235-toolbar-access-fixes'

closes #22235

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22199: fixed row leftclick

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22285: Still tinkering with the diagram

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22285: Update architecture diagram some more

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22235: moved toolbar filter for groups to catch all cases

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22235: moved select params so they don't get overwritten

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Redo the architecture layout to improve readability

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22184-concurrent-mkcol'

fixes #22184

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Add database access requirement to keep-web install docs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Update arch diagram to include keep-web database access.

Also remove arv-git-httpd.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Add upgrade note about keep-web database access requirement.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22235: applied extra select fields only to process fetches

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22235: fixed context-menu-action test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22235: tweaked frozenManageableProject menu

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>