22317: Reword outdated comment

We still support suite suffixes because it's a convenient way to DRY
configuration, but build.sh doesn't exist anymore.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Get compute node settings from cluster configuration

This reduces the risk that Ansible configuration and cluster
configuration get out of sync.

We can use this same technique in other Ansible install playbooks we
write in the future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Don't hardcode Ansible scp -O option

This isn't available on older versions of scp. Tell the user how to
identify the problem and configure it if needed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Add instructions to install necessary Packer plugins

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Fix type of AWS string-bool variables

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Use git:// transport to support --depth

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Remove compute node image build.sh

It is replaced by a process where the user edits Ansible and Packer
configuration files in place, then runs the appropriate tool directly.

While it was nice that build.sh saved you from knowing the details of
how tools were configured, it was becoming more difficult to maintain as
we grew more options. It also requires the user to remember the full
build.sh command they used if they want to build a new version for a new
base AMI, new Arvados release, etc. This improves that situation by
letting the user keep configuration files they can keep and update as
needed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Copyedit common compute node instructions for clarity

Mostly trying to make the relationships between different files and
configuration settings more explicit.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Let arvados_pin_version pin the package release

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Tidy whitespace

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Clean default AdminUsername

Remove duplicate entry. Make the default value match what the compute
node image builder sets up.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Support Ubuntu apt repository setup

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Define GOPATH for Singularity build

Place it under the temporary build directory to avoid cluttering the
image filesystem.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Expand configuration line regexps

Be willing to overwrite indented commented-out lines.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Don't become to install Go

It isn't necessary, just like it isn't for the rest of the Singularity
build process.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Replace compute image base.sh with an Ansible playbook

The hope is that this will be more maintainable and extendable, and
allow us to start building towards a general Ansible installer.

This Ansible playbook was written and tested against Ansible 8.7.0,
because Ansible 8.x seems to be the version that supports most of the
Pythons we care about. This might need refinement in the future.

The Ansible playbook supports all the same deployment configurations as
base.sh, but there are some differences in the way it goes about things:

* It no longer configures GRUB for cgroups v1 because Arvados supports
  cgroups v2 now.

* It installs software to /opt instead of /var/lib/arvados, because
  software doesn't belong in /var and none of this is Arvados software
  specifically looking for that path.

* It only installs either Docker or Singularity as required, not both.

* It builds Singularity in a temporary directory that it cleans up
  afterwards to save space in the AMI.

* It sets up the encrypted partition script as a systemd service rather
  than a cloud-init script so we can be more explicit about the ordering
  requirements. The service orders itself before SSH so it has a chance to
  finish before the Crunch dispatcher is able to SSH in. If it fails, that
  will be reflected in systemctl's system state, and therefore our default
  BootProbeCommand as well.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22317: Remove noop variable assignments

JSON_FILE gets overwritten by the getopt code later. The rest of these
variables are no longer used in the script.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22316-test-fixes'

fixes #22316

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22000-deleting-favorites' into main. Closes #22000

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Add comments

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Route all favorites refreshes through validation path

Removes tree updating functionality from fetchFavoritesResources
and fetchPublicFavoritesLinks

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Remove any types from setFaves and load public faves

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Add comment

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Add tests for delete/restore favorited resources

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22316: Don't enable cypress interactive mode unless DISPLAY is set.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22000: Remove unused imports

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22316: `arvados-server install` option to add user to docker group.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22217-packer-keypair-type'

Closes #22217, #22251.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Improve readability of CUDA deb download

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22000: Add flag to control writing nodes to favorites tree, eliminates flickering

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Update resource store with trashed resources, refresh favorites after

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Refresh favorites after deleting processes permanently

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Filter out 404/trashed resources when loading favorites

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22000: Add common resource error checker for 404

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21743-users-include-trash'

fixes #21743

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22029-crunch-run-install-dir'

closes #22029

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22217: Add contrib apt component only on Debian

It's a Debian-specific name. Ubuntu doesn't use it.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Disable nvidia-persistenced.service only if it exists

It doesn't seem to come with more recent NVIDIA packages.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Enable contrib suites with our own code, not add-apt-repository

add-apt-repository does not seem to be aware of .sources files, which
are becoming more common in modern releases of Debian and Ubuntu.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Make apt less quiet

This still suppresses progress reports, which are the noisiest output,
but lets apt report more information about errors when they occur.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21743: Don't check include_trash if controller does not load it.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22217: Improve RESOLVER set check

Avoid an unset variable error.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Pin cuda package version

Recent versions depend on more recent versions of the NVIDIA driver than
we want to install. This basically keeps the cuda version in sync with
the driver version we've already pinned.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Clean up EBS autoscale code

Remove commented out code. Use fewer commands to do the same work.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Make crunch SSH setup more idempotent

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22029: Add DeployRunnerDirectory config.

Previously hardcoded to "/tmp/arvados-crunch-run".

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22217: Modernize NVIDIA repository setup

The main functional thing this accomplishes is using the CUDA keyring
package instead of the old individual key files. It also uses new
source setup patterns.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Configure Docker via daemon.json rather than systemd

This is less fiddly and easier to extend.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Make curl options more consistent

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22217: Consolidate apt configuration and installation

Rather than having all this scattered across the build script, first
configure apt as much as possible, then install packages, then configure
those packages.

This makes it easier to see what the entire apt configuration is. It
also makes the compute script run faster since it reduces the number of
times apt has to load the package database.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Add note about Red Hat 8 package streams to upgrade notes, refs #21273

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Revise the 3.0 upgrade notes a bit. refs #22084

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Restore rendering HTML tags in registered workflow panel, refs #21944

This feature was reverted by accident in a merge conflict.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22217: Modernize temporary_key_pair_type on AWS compute node builds

This setting causes the Packer EBS plugin to create a temporary ed25519
key for the build which works on more modern distros.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22299: Merge nvidia container package pins

Just to help make it clearer that they need to be kept in sync and avoid
mistakes where that doesn't happen. Refs #22299.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Add nvidia-container-toolkit pin, refs #22299

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22199-content-address-fixes'

closes #22199

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22285-architecture-page' refs #22285

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22285: Arrows should be same size now

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22199: cleanup

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22281-keepweb-pg-conn'

closes #22281

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22285: Add arvados-server subcommands

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22199: removed actions column and forceMultiselectMode

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch 'main' into 22199-content-address-fixes

refs #22199

Merged to pull in changes in 22235

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22281: Adds keep-web's IP address to PG's ACL

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '22235-toolbar-access-fixes'

closes #22235

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22199: fixed row leftclick

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22285: Still tinkering with the diagram

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22285: Update architecture diagram some more

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22235: moved toolbar filter for groups to catch all cases

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22235: moved select params so they don't get overwritten

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Redo the architecture layout to improve readability

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22184-concurrent-mkcol'

fixes #22184

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Add database access requirement to keep-web install docs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Update arch diagram to include keep-web database access.

Also remove arv-git-httpd.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Add upgrade note about keep-web database access requirement.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22235: applied extra select fields only to process fetches

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22235: fixed context-menu-action test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22235: tweaked frozenManageableProject menu

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22184: Don't look up remote-hosted collections in local DB.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22273-arv-cluster-activity-bugfixes'

Refs #22273.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22235: fixed all-processes context menu

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Fix ClusterTarget document anchor, no issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22235: fixed context-menu-actions test

* also added a console.error because the thrown error was not so helpful

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22274: Only generate a chart card when chart data is available

This cleans up the report when chart data is not available.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22273: Use importlib.resources functional interfaces

`importlib.resources.files` was added in Python 3.9, so this provides
Python 3.8 support.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22274: Bugfix graphs existence check

Earlier code always assigns `self.graphs[managed_graph]` and
`self.graphs[storage_graph]`. When the graphs aren't available (e.g.,
because the user doesn't have Prometheus credentials), the values are
None. This would cause us to run `len(None)` and crash with a
TypeError.

Simplify by checking the truthiness of graph data and then calculating
the rest of what we need.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22273: Remove built-in type subscript

This isn't supported in Python 3.8.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22235: cleaned up resourceToMenuKind

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22184: Clean up handler.

* merge the two "sync if needed" blocks
* merge a few variants of Join(targetPath, "/")

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Check latest PDH in database and call Sync if needed.

Ensures consistent filesystem semantics for sequences of WebDAV
requests even if they are handled by load-balanced keep-web servers.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Sys() returns last loaded PDH, not initial PDH.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Fix misordered updates in concurrent calls to Sync.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Force sync in depth header test sequence.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Update force-reload test.

Getting a nonexistent file now automatically causes a reload, so we
can't use that to check that a cached version is still active.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Fix HTTP status for invalid request.

A replace_files request with a nonexistent "current/..." source should
return non-retryable 400, not retryable 500.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22184: Call Sync if request might fail due to outdated sessionFS.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22235: restored dynamic context menu in all-processes

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22235: differentiated frozen manageable projects

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22235: removed unfreeze from manageable_project in toolbar

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>