22238: Use become for database tasks on servers with PostgreSQL

See comments for fuller discussion.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Bugfix virtual machine fact set logic

We can't use create.stdout as a default value if we didn't actually run
the create task.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22771: Revert part of 85cd3da83438dae5f2fcfbcccab7a0c766ad9ae0.

Causes test to fail.

refs #22771

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22238: Add arvados-dispatch-cloud to cluster install playbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add boolean flag to let administrator disable login-sync

This service assumes the system uses classic user management and doesn't
work well in places with centralized identity management, etc. Provide a
simple flag to turn it off when it's not helpful.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Create virtual machine records during shell node install

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add crunch-dispatch-local to cluster install playbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Better adapt client_max_body_size to different services

This better matches the suggested values in the install guide.
In particular it allows larger WebDAV uploads.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add arvados_shell to cluster install playbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22394-project-tab-preference' into main. Closes #22394

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22394: Pin save/discard to bottom of preferences panel

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22238: Simplify listen_addr implementation

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Switch to a handler for apt updates

While `ansible.builtin.meta: flush_handlers` is more verbose than I'd
ideally like, this approach strikes the best balance I can find between
letting higher levels time `apt update` when they want it without
passing a whole bunch of arbitrary task registrations around.

This causes arvados_apt to depend on distro_apt which IMO is nice,
that's one less thing that playbooks can forget to do.

This does cause more runs of the distro_apt tasks over a playbook. For
now I think that's worth the cost. It will cause relatively few reruns
in a production deployment where most services are split across
different nodes. Doing redundant work for smaller installs isn't a case
we need to optimize for.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22771-docker-load-error'

fixes #22771

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22771: Test that LoadImage propagates errors from docker daemon.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22771: Add "no space left on device" to broken-node error blacklist.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22771: Check for errors in ImageLoad response.

Also fix repetitive log messages.

before: "While loading container image: While loading container image
into Docker: {actual error}"

after: "failed to load container image: ImageLoad failed: {actual
error}"

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22785-ambiguous-column'

fixes #22785

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Add last-modified user info to collection.json metadata.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Fix ActiveModel::MissingAttributeError on select=[full_name].

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Add description, created_at, and modified_at to zip metadata.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Include file_count=N in upload and download logs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Check suggested filename when testing single-dir download.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22768: Commit the bug fix in structure.sql

Also added some notes to the test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22768: Add migration

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22768: Add test checking container priority when trash_at is in the future

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22238: Set a fact to record if config.yml changes

This is a more reliable solution to the problem the deleted comment was
trying to address, since skipped tasks still get registered and we lose
the previous changed state.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add arvados_websocket to cluster install playbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add arvados_workbench to cluster install playbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add arvados_keep_web to cluster install playbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Support additional server names in nginx site config

keep-web often wants this.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Support remote SSL certs

This lets administrators use the Ansible installer with certs that are
already on the server via another channel (e.g., obtained by certbot).

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Improve notify syntax

I don't think there's a problem with the a string version but the list
is nicer for consistency.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add arvados_keepproxy to cluster install playbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add arvados_keepstore to cluster install playbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Remove handler from arvados_apt

Instead register the result and let later tasks handle it how they wish.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Run service plays serially

This is what we want for load-balanced setups and doesn't hurt anything
in simpler cases.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Restart services after config.yml changes

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add arvados_controller role and support to installer playbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Start cluster install playbook with arvados_api role

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22778-arvados-pkgs-pin'. Closes #22778

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22778: Updates arvados-formula commit id.

Now it points to the latest main merged version.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22785: Fix ambiguous column name in join query.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22785: Test failure mode with ambiguous column in order param.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22238: Install python3-psycopg2 from roles that need it

This library is required by community.postgresql tasks. By the
time any of those run, Ansible should be bootstrapped enough for us to
install this package, reducing the amount of boilerplate required in
each playbook.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Write PostgreSQL server configuration from arvados_postgresql

Most deployments will at least need to change Debian's default
listen_address of `localhost`. Provide a general way to do this and make
other PostgreSQL server configuration changes.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Use cluster config for arvados_postgresql user defaults

This reflects what most callers will want most of the time.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Use cluster config for arvados_database defaults

This is expected to be the common case, and it's easier to make
exceptions to it than to have users pass configuration through each
time.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Configure APT::Periodic from distro_apt role

This is something we'll want to do on all production deployments.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22680: Rename columns based on feedback

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22778: Updates arvados-formula commit.

Uses the latest version with simplified pin package logic, not requiring
an additional pillar key to enable it.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '22564-multiselect-tests'

closes #22564

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22679: Update header comment about supported distros

Refs #22679.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22564: adjusted cypress commands

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22394: Wrap MPV tests in fake store now that it's connected.

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22680: Include credential_id in credential_secret API

Removed the special logic on expires_at.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22394: Add tests for default project tab setting

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22394: Update wuth store with updated user if uuid matches logged in user

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22394: Extract router from props to avoid passing it to child components

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22680: Expire credential_secret in trash_sweep

Add missing test file

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22760: Bypass auth for ports marked "public" in published_ports.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22680: Trying to get the schema all synchronized

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Make expires_at more strict

Don't allow expires_at to be moved into the future after it has been
set unless also changing the secret.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Add CredentialScopes to Go SDK

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Fix table styles

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Add documentation for credentials API

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22394: Reset project tabs to preferred when route changes

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22394: Set default project tab based on user preference

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22680: Add credential_scopes

I'm certain that we will want this eventually (I want to have a way to
look up what credentials to use based on the resource being accessed),
so it should just be included from the beginning.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Don't create obsolete column modified_by_client_uuid

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Fix syntax

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Passing API server tests

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Build out the tests, add secret fetching

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22394: Fix prefs page styling and display project tab options as row

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22680: Add initial migration and classes

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22778: Makes installer use the newer arvados-formula with pkg pin support.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22778: Enables Arvados package pinning when applicable.

This setting makes arvados-formula to pin arvados packages to the requested
version. If version is 'latest' (the default), it won't apply the pinning.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22394: Add writableBy to readonly fields, radio component, prefs save action

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22564: adjusted tests:

* removed untrash collection test becuase it is covered elsewhere, and in this test it ends up being on page 2 of the data explorer
* changed user fullName values so as not to collide with those same values in other tests

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21074-workflow-collection-link' refs #21074

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21074: Fix end of file newline merge error

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22076: Log filename if zip contains exactly one file.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch 'main' into 21074-workflow-collection-link

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22415-java-sdk-17'

Refs #22415.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21074: Only apply strict validation to linked workflow collections

If you have a collection of type: workflow, strict validation only
applies if it is actually linked.  This accomodates legacy collections
which have type: workflow but don't have all the newly defined fields.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22564: cleanup

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22564: changed assertion in single collection test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22581-api-service-support' refs #22581

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22581: Fix typo

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22076: File-download logging and permission checks for zip files.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21074: Refactor signature of update_linked_workflows

Improve test coverage

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22564: user tests done

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22564: groups tests done

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22792-cuda-570'

Closes #22792.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22564: workflow tests done

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22415: Pass through script arguments to Gradle as intended

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22792: Convert license header to Jinja comment

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22792: Update CUDA tasks for version 570 driver

Version 570 introduces a udev rule to load the driver when needed.
`/etc/modules-load.d/nvidia.conf` is gone, and we no longer need to
arrange to load it dynamically.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22415: Extend Java SDK Docker test script

* Pass arbitrary arguments from the script to Gradle to make it easier
  to use interactively and eliminate the magic $gradle_upload variable.

* Skip the signing task if it isn't configured, so the default passes in
  a development environment.

* Make the scripts stricter to aid future development.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22564: multi-resource tests done

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>