Merge branch '22771-docker-load-error'

fixes #22771

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22771: Test that LoadImage propagates errors from docker daemon.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22771: Add "no space left on device" to broken-node error blacklist.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22771: Check for errors in ImageLoad response.

Also fix repetitive log messages.

before: "While loading container image: While loading container image
into Docker: {actual error}"

after: "failed to load container image: ImageLoad failed: {actual
error}"

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22785-ambiguous-column'

fixes #22785

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22778-arvados-pkgs-pin'. Closes #22778

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22778: Updates arvados-formula commit id.

Now it points to the latest main merged version.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22785: Fix ambiguous column name in join query.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22785: Test failure mode with ambiguous column in order param.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22778: Updates arvados-formula commit.

Uses the latest version with simplified pin package logic, not requiring
an additional pillar key to enable it.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '22564-multiselect-tests'

closes #22564

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22679: Update header comment about supported distros

Refs #22679.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22564: adjusted cypress commands

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22778: Makes installer use the newer arvados-formula with pkg pin support.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22778: Enables Arvados package pinning when applicable.

This setting makes arvados-formula to pin arvados packages to the requested
version. If version is 'latest' (the default), it won't apply the pinning.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22564: adjusted tests:

* removed untrash collection test becuase it is covered elsewhere, and in this test it ends up being on page 2 of the data explorer
* changed user fullName values so as not to collide with those same values in other tests

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21074-workflow-collection-link' refs #21074

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21074: Fix end of file newline merge error

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch 'main' into 21074-workflow-collection-link

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22415-java-sdk-17'

Refs #22415.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21074: Only apply strict validation to linked workflow collections

If you have a collection of type: workflow, strict validation only
applies if it is actually linked.  This accomodates legacy collections
which have type: workflow but don't have all the newly defined fields.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22564: cleanup

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22564: changed assertion in single collection test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22581-api-service-support' refs #22581

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22581: Fix typo

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21074: Refactor signature of update_linked_workflows

Improve test coverage

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22564: user tests done

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22564: groups tests done

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22792-cuda-570'

Closes #22792.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22564: workflow tests done

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22415: Pass through script arguments to Gradle as intended

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22792: Convert license header to Jinja comment

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22792: Update CUDA tasks for version 570 driver

Version 570 introduces a udev rule to load the driver when needed.
`/etc/modules-load.d/nvidia.conf` is gone, and we no longer need to
arrange to load it dynamically.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22415: Extend Java SDK Docker test script

* Pass arbitrary arguments from the script to Gradle to make it easier
  to use interactively and eliminate the magic $gradle_upload variable.

* Skip the signing task if it isn't configured, so the default passes in
  a development environment.

* Make the scripts stricter to aid future development.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22564: multi-resource tests done

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22415: Upgrade Gradle to version 6

Upgrading to version 7 requires code changes.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22415: Upgrade mockito to latest version

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22781-name-endpoints'

Closes #22781, #22789.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21074: Prevent changing collection type: workflow when linked

Simplify some other validation as well

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21074: Linking workflow record to collection

(I have squashed a bunch of commits because of an issue of
accidentally including and then subsequently removing some unrelated
database migrations.)

Tests filling in workflow record from collection

Test for synchronization of workflow record with collection

Hide workflows where the collection is trashed

Validate properties on collection

Test destroying workflow collection

Use dependent association instead of after_destroy hook

Added include=collection_uuid to group contents API

Add collection.properties.blah table join filters

Documentation for linking workflow to collection

Figuring out manifest_text in response

Fix behavior & add tests for include=collection_uuid

Specifically need special behavior for manifest_text so it is not
returned by default and can't be selected (because Controller won't
sign it) but unsigned_manifest_text is ok.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

null values fall back to zero when computing read_length

found refs #21074, original bugfix refs #22232

Null is not the same as zero, in SQL (null + a number) is null, not
the number.  As a result a single null value would cause the entire
row to be considered null (and Ruby would assign it zero size)
regardless of the size of the other columns in the row.  Use coalese()
to get the intended behavior.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22564 process tests done

* also removed now-redundant tests in other test files

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22581: Update discovery doc

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22581: "published_ports" is no longer tied to "service"

Made documentation clarifications.

Made sure the tests are testing what the are supposed to be testing.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22564: collection and selector popover tests done

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22564: multiselect collection tests

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Filter the development- prefix before sorting, refs #22767

Unfortunately 'development' sorts before numbers, so the
development-3.0.0 tag was continuing to show up at the top (resulting
in it assigning 3.1.0~dev versions even after 3.1.0 had been released
and tagged) when it should have been picking up 3.1.0 as the most
recent version.  Tweak the logic to get rid of the development prefix
before sorting.  With this, it correctly generates the versions as
3.2.0~dev.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22781: Add service name to endpoint diagnostic messages

This should make it easier for an administrator spot accidental URL
mix-ups in configuration.

Since I need to change URL access anyway, we make a copy of the endpoint
URL to avoid mutating the original.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22788-ansible-key-fix'

Refs #22788.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22564: Finished single project tests

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22788: Ensure private key ends with a newline

Otherwise `ssh-keygen` will refuse to parse it.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22788: Fix getting dispatch public key from private key content

As commented, the way we tried to pass the private key to ssh-keygen via
stdin unfortunately doesn't work. ssh-keygen really wants to work with a
file, so write a tempfile to do that.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22564: Added multi-project tests

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22772-workflow-multiselector'

closes #22772

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22718: Finalize 3.1.1 release

Not updating `services/api/Gemfile` because there are no relevant
changes to the gem in this release. Refs #22718.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22772: added null check

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22772: added another initialization check in data-table

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22775: Pin more packages for NVIDIA CUDA installation

The release of CUDA 570 revealed some gaps in our pinning. We can still
get the results we want, we just need to pin more packages to do so.

Closes #22775, #22776.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22605-fix-test'

refs #22605

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22605: fixed test that failed after merge

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22617-fix-encrypted-partitions'

Closes #22617, #22774.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22617: Make default Arvados version pin reflect suite

By default, don't pin when installing from -dev or -testing.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22617: Remove partition encryption dependency on docker.socket

Otherwise:

    systemd[1]: docker.socket: Found ordering cycle on arvados-ensure-encrypted-partitions.service/start
    systemd[1]: docker.socket: Found dependency on basic.target/start
    systemd[1]: docker.socket: Found dependency on sockets.target/start
    systemd[1]: docker.socket: Found dependency on docker.socket/start
    systemd[1]: docker.socket: Job arvados-ensure-encrypted-partitions.service/start deleted to break ordering cycle

As long as we start before the actual service, that's sufficient. Just
remove the relationship with the socket.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22605-open-wf-dialog'

closes #22605

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch 'main' into 22605-open-wf-dialog

refs #22605

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22605: replaced long wf defs with consts in test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Fix typo and missing argument in deprecation messages.

No issue #

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22605: changed order of logeed in test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Remove debug printf.

No issue #

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22605: added another test for admin in readonly project

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22605 adjusted test per feedback

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22605: removed redundant default process owner assignment and added new test case

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22395-batch-collection-trash' into main. Closes #22395

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '20650-s3-downloader' refs #20650

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22395: Perform search in trash test to handle too many trashed items

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21884-collection-richtext'

closes #21884

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22395: Add waitfordom to trash test helpers, increase timeouts

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22395: Split tests for better debugging

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22395: Add basic trash tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

20650: Typo fixes

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20650: Add a test for --disable-aws-credential-capture

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21844: Set description char limit to 524,288

* also set collection panel to render description html properly

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22554-wf-optional-inputs'

closes #22554

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22605: Adjusted test to address flakiness

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21884: Adjusted test to account for richtext element

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21884: Changed collection description field to use rich text editor

* increased collection description max length from 255 to 2048
* Also changed project description max length from none to 2048

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22712: Pin activesupport in all gems

Same rationale as 05a762006d907bb28fbda55fd8059d51904b246b.
Refs #22712.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22627-breadcrumbs-collapse-bug' into main. Closes #22627

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22712: Pin activesupport version for Ruby 2.7.0

Same rationale as 05a762006d907bb28fbda55fd8059d51904b246b.
Refs #22712.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22605: adjusted isUserResource function and moved prop check into the function where it is used

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22697-gem-downgrades'

Refs #22697.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22605: added commmentary

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22698: Bugfix incorrect shift

If no argument was passed, there will be nothing to shift, and this will
cause an error exit. Arguments after mandatory ones need to be handled
by position. Closes #22698.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22712: Pin securerandom dependency for Ruby 2.7

We're already doing the same in services/api/Gemfile.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22697: Downgrade Rails to 7.1.3.4

For compatibility with Ruby 2.7.0 in Ubuntu 20.04.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22627: Remove grid item class to fix breadcrumbs overflowing

Grid item adds max-width: none and we don't want that

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22554: fixed 422 error handling in e2e test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22554: Fixed null input in unit test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22554: added test for optional input

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22554: removed stray console.log

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>