Merge branch '22781-name-endpoints'

Closes #22781, #22789.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

null values fall back to zero when computing read_length

found refs #21074, original bugfix refs #22232

Null is not the same as zero, in SQL (null + a number) is null, not
the number.  As a result a single null value would cause the entire
row to be considered null (and Ruby would assign it zero size)
regardless of the size of the other columns in the row.  Use coalese()
to get the intended behavior.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Filter the development- prefix before sorting, refs #22767

Unfortunately 'development' sorts before numbers, so the
development-3.0.0 tag was continuing to show up at the top (resulting
in it assigning 3.1.0~dev versions even after 3.1.0 had been released
and tagged) when it should have been picking up 3.1.0 as the most
recent version.  Tweak the logic to get rid of the development prefix
before sorting.  With this, it correctly generates the versions as
3.2.0~dev.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22781: Add service name to endpoint diagnostic messages

This should make it easier for an administrator spot accidental URL
mix-ups in configuration.

Since I need to change URL access anyway, we make a copy of the endpoint
URL to avoid mutating the original.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22788-ansible-key-fix'

Refs #22788.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22788: Ensure private key ends with a newline

Otherwise `ssh-keygen` will refuse to parse it.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22788: Fix getting dispatch public key from private key content

As commented, the way we tried to pass the private key to ssh-keygen via
stdin unfortunately doesn't work. ssh-keygen really wants to work with a
file, so write a tempfile to do that.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22772-workflow-multiselector'

closes #22772

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22718: Finalize 3.1.1 release

Not updating `services/api/Gemfile` because there are no relevant
changes to the gem in this release. Refs #22718.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22772: added null check

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22772: added another initialization check in data-table

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22775: Pin more packages for NVIDIA CUDA installation

The release of CUDA 570 revealed some gaps in our pinning. We can still
get the results we want, we just need to pin more packages to do so.

Closes #22775, #22776.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22605-fix-test'

refs #22605

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22605: fixed test that failed after merge

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22617-fix-encrypted-partitions'

Closes #22617, #22774.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22617: Make default Arvados version pin reflect suite

By default, don't pin when installing from -dev or -testing.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22617: Remove partition encryption dependency on docker.socket

Otherwise:

    systemd[1]: docker.socket: Found ordering cycle on arvados-ensure-encrypted-partitions.service/start
    systemd[1]: docker.socket: Found dependency on basic.target/start
    systemd[1]: docker.socket: Found dependency on sockets.target/start
    systemd[1]: docker.socket: Found dependency on docker.socket/start
    systemd[1]: docker.socket: Job arvados-ensure-encrypted-partitions.service/start deleted to break ordering cycle

As long as we start before the actual service, that's sufficient. Just
remove the relationship with the socket.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22605-open-wf-dialog'

closes #22605

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch 'main' into 22605-open-wf-dialog

refs #22605

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22605: replaced long wf defs with consts in test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Fix typo and missing argument in deprecation messages.

No issue #

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22605: changed order of logeed in test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Remove debug printf.

No issue #

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22605: added another test for admin in readonly project

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22605 adjusted test per feedback

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22605: removed redundant default process owner assignment and added new test case

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22395-batch-collection-trash' into main. Closes #22395

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '20650-s3-downloader' refs #20650

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22395: Perform search in trash test to handle too many trashed items

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21884-collection-richtext'

closes #21884

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22395: Add waitfordom to trash test helpers, increase timeouts

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22395: Split tests for better debugging

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22395: Add basic trash tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

20650: Typo fixes

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20650: Add a test for --disable-aws-credential-capture

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21844: Set description char limit to 524,288

* also set collection panel to render description html properly

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22554-wf-optional-inputs'

closes #22554

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22605: Adjusted test to address flakiness

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21884: Adjusted test to account for richtext element

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21884: Changed collection description field to use rich text editor

* increased collection description max length from 255 to 2048
* Also changed project description max length from none to 2048

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22712: Pin activesupport in all gems

Same rationale as 05a762006d907bb28fbda55fd8059d51904b246b.
Refs #22712.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22627-breadcrumbs-collapse-bug' into main. Closes #22627

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22712: Pin activesupport version for Ruby 2.7.0

Same rationale as 05a762006d907bb28fbda55fd8059d51904b246b.
Refs #22712.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22605: adjusted isUserResource function and moved prop check into the function where it is used

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22697-gem-downgrades'

Refs #22697.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22605: added commmentary

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22698: Bugfix incorrect shift

If no argument was passed, there will be nothing to shift, and this will
cause an error exit. Arguments after mandatory ones need to be handled
by position. Closes #22698.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22712: Pin securerandom dependency for Ruby 2.7

We're already doing the same in services/api/Gemfile.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22697: Downgrade Rails to 7.1.3.4

For compatibility with Ruby 2.7.0 in Ubuntu 20.04.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22627: Remove grid item class to fix breadcrumbs overflowing

Grid item adds max-width: none and we don't want that

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22554: fixed 422 error handling in e2e test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22554: Fixed null input in unit test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22554: added test for optional input

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22554: removed stray console.log

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Add trailing slash to COPY destination

According to the Dockerfile reference and the `docker build` error
message I got, this is required to copy multiple files to a destination
directory. No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22697: Fix Ubuntu CUDA URL

For whatever reason Ansible reports the version number as "22.04" and
the major version as "22" but no minor version. Refs #22697.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22697: Fix URL for AWS' Ubuntu security mirror

Refs #22697.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22554: added handling for case where inputs are not set in redux

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22554: Added algo to nullify empty strings on submit

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22618-wrong-breadcrumbs'

closes #22618

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22395: Quash warning

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22395: Remove unused toggleProjectTrashed

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22395: Use toggleResourceTrashed everywhere. Also detect isTrashed using items.

Technically we probably shouldn't allow a mixed group if isTrashed like before,
and with batching, it seems better to present an error for double trash/untrash
instead of performing multiple operations at once. In the future maybe we can
better tie isTrashed to the logic in the ToggleTrashAction component.

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22395: Copy over post-trash/untrash actions needed from toggleProjectTrashed

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22395: Add back navigate to parent on successful trash that was accidentally removed

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22395: Add support for toggling trashed status of mixed resource types

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22618: added e2e test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22618: Added collection panel reset on unmount

* also told eslint not to lint cy.js files

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22321-webdav-write-repack'

closes #22321

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22395: Rename helper func since we technically use snackbars not toasts

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22395: Use refactored batch toast helper for delete process

Also add route matching to make after-delete actions more robust

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22395: Abstract batch resource request error handling into helper func

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '22666-test-checkcacheonly'

fixes #22666

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22666: Clarify "currently" in comment.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22321: Dry up webdav requests in integration tests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22321: Add Marshal and RoundTrip tests for BlockSegment.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22605: added another wait for picker node to expand

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22605: added timeout to create-workflow test to account for dom update

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22605 tests pass, picker displays appropriate project on open

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22321: Repack collections after upload.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22605: name now updates on root project load

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22395: Change toggleCollectionTrashed to batch action instead of sequential

This is essentially a copy+paste of the process trash action

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '22700-installer-arvados-formula'

closes #22700

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20650: Defer importing boto3 unless/until we need it

No reason to load the boto3 module if we're not using it.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22700: Handle arvados-formula the same way as others.

We pin the arvados-formula version using the ARVADOS_TAG envvar, and the
provision script checks out that version on every run.
Previous behavior was kind of similar, but this way is more explicit and
less error-prone.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20650: Log the configured region

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20650: Make pass the AWS region as well

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22605: Refactored wf owner selection for simplicity

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

20650: Document download from S3 feature

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20650: Add test for deferred s3 import and credential capture

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20650: Improve test and move boto3 dep to python sdk

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Update self-referential version references to 3.1.0, refs #22510

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20650: Test WIP

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22605: fixed home projects selection in test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22666: Test (*keepstore)Blockread() with CheckCacheOnly: true.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20650: Add option to control AWS credential capture behavior

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20650: Log the access key id used

This is the non-secret portion of the credentials so it is safe to
include in the log.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20650: Pass AWS credentials if needed

If there are s3:// URLs, and --defer-download is used, then pass the
environment's AWS credentials as a secret mount.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20650: Need to recognize s3: URLs in a few places

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20650: Add boto3 dependency

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>