Merge branch '22827-many-mounts-inside-output-dir'

fixes #22827

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22777-named-proxy-port'

closes #22777

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22777: Change example domain name to match existing docs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22777: published_port links specify container request UUIDs.

...not container UUIDs.

The generic proxy endpoint (https://{uuid}-{port}.containers.domain)
can be used with either a container request UUID or a container UUID.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22827: Fix memory usage check in case Alloc decreases during test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22935-ssh-key-type'

fixes #22935

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22935: Change example key type from rsa to ed25519.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22827: Log memory consumption even when passing test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22931-crunch-run-open-sockets'

fixes #22931

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22827: Fail test on excess memory usage.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22827: Single-entry cache for source collection filesystem.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22827: Update fs/keepclient pointers during Snapshot and Splice

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22957-ansible-package-tests'

Closes #22957, #22944, #22962.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22827: Test repetitive mounts under output directory.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22819-cwl-use-s3-creds' refs #22819

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22819: Add mock for now() since utcnow() is deprecated.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22935: Add SSH key compatibility note to compute node image doc.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22845-process-status-counts'

closes #22845

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22845: added tbody assertions in test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22845: fixed intermittent CORS error

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22957: Build package test Docker images with Ansible

This is not a huge win by itself, but it means we can manage these
images with a single playbook rather than one Dockerfile per image. The
bigger win will come when we do the same for package build Dockerfiles,
which can reuse a lot of the code we've already written in
`install-test-env.yml`.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22957: Add arvados_ansible role to install-test-env playbook

This is in preparation to build packaging Docker images with Ansible.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22957: Support RHEL-based distros in distro_bootstrap

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22944: Bugfix and DRY Ansible bootstrap tasks

By default, Ansible tries to gather host facts at the start of each
play. In order for the bootstrap task to work as intended, it must run
in an early play with `gather_facts: no`.

Make this easier by adding a role to do it. This removes some
bootstrapping of the `gnupg` and `xz-utils` packages. Both of these were
carried over from previous automations, and they don't seem to really be
required by Ansible directly. I have been able to run all these
playbooks as-is. They might be getting pulled in as dependencies of
other packages, or might be core to more recent Debian, but whatever the
reason, we should be fine.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22957: Add requirements files to Ansible

We are at a point where we want to use collections that aren't included
in Ansible 8. This commit adds the infrastructure for us to do that in
the standard way, while taking the opportunity to only declare what we
need (no more installing the 240MiB Fortinet collection everywhere).

The change to the PostgreSQL HBA sources is required by stricter
validation in the newer community.postgresql module. The change from
parameter names from `db` to `login_db` is because the former is
deprecated in this version.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22819: Add --s3-public-bucket to documentation

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22819: Support for downloading from public buckets

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22819: Add --s3-public-bucket option

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22819: Filter on expires_at, improve logging

Remove redundant copy of resolve_aws_key

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22845: added 'close' button to status filter popover

* also shifted all filter popover close buttons to the right corner for consistency

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22845: added more space between status and count

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22931: Update transport to use DefaultTransport values from Go 1.23.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22931: Disable keepalive on single-req gateway connections.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22845: fixed initial load and typefilter change load

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22360-skeleton-loader' into main. Closes #22360

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '22828-empty-webshell-ok'

fixes #22828

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22816-container-shell-default'

closes #22816

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22816: Add rationale.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22360: More test fixing

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22360: Fix tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22360: Add tests I accidentally forgot to commit for 22394-project-tab-preference refs #22394

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22360: Pre-emptively set project panel DE working to improve responsiveness

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22816: Add upgrade note about changed default.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22828: Skip webshell diagnostics if not enabled (empty ExternalURL).

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22816: Enable container shell for admins by default.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22886: Update second arvados gem reference

Refs #22886

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22886: Release Arvados 3.1.2

Refs #22886.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22779: Skip reading ~/.aws from the a-d-c service

See comments for background. Setting these variables lets a-d-c act more
like it did in previous versions while leaving a way for administrators
to opt in to newer behavior. We may do something different for Arvados
3.2.0, but this is where we want to be today. This was discussed between
Peter, Tom, Lucas, and myself. Refs #22779.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22360: Allow skeleton loader when criteriaChanged=false for pagination/sorting

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22935: Support ED25519 keys in EC2 driver.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22360: Clear toolbar selection & disable row interaction when skeleton showing

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22935: Test loading different SSH key formats.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22935: Test loading different SSH key types: ecdsa, ed25519, rsa.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22791-s3-upload-concurrency'

fixes #22791

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22360: Render dummy lines for first time DE skeleton loader

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22360: Keep track of non-background criteria-changed DE working internally

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Update arvbox to use debian 12.  refs #22864

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22360: Move skeleton loader into cells to avoid layout shift with existing rows

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22819: Add check that boto3 actually loaded credentials

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22819: Update formatting of "CWL style" page

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22819: Update docs for new credential use behavior

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22232: Update MaxIndexDatabaseRead note 2

This should've been updated as part of refs #22232, which generalized
the logic rather than checking specific named columns.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22927-ansible-requirements'

Closes #22927, #22929.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22927: Document Ansible version requirements

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22819: Add check for credentials API

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22238: Simplify Workbench API_HOST template

The return value of external_addr already stringifies the way we need.
Refs #22238.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22819: Update test to use credentials from arvados

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22819: Getting credential from Arvados passed manual test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22819: Fix typo

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22819: Fix message

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22819: First draft credential API for S3 downloads

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22827-save-log-before-copy'

refs #22827

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22360: First pass replacing DE loading indicator with skeleton

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '22613-http-proxy-docs'

refs #22613

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22613: Fix typo.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22791: Use atomic replace_files API for S3 uploads.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22791: Use mime.ParseMediaType to parse Content-Type header.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22845: fixed counts not updating when switching between projects

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22613: Update list of hostnames for single-node install.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22613: Update docs re *.containers.domain wildcards.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22845: adjusted unit test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22845: css tweaks

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22845: changed count from number to string

* this allows null check (empty string vs '0') instead of tracking startloading/loaded states

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22845: added treedotssuspense component

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Ansible install Workbench config API_HOST includes port, refs #22238

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22845: counts now update when fetched

* also added commas to counts

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22845: shared with me now displays counts

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22827: Test output with 1000-file input collection.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22827: Flush logs and update container record before copying output.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22845: counts display in all processes panel

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22238-ansible-installer'

Closes #22238, #22340.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add a basic introduction to the cluster installer playbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Use inventory hostname for shell records by default

`ansible_fqdn` is more likely to be an internal hostname that isn't
useful to show users.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add an example inventory for the cluster installer playbook

This provides initial documentation of both host groups and the most
useful variables.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Fix variable name typo

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Remove out-of-date comment

Our best guess is that this dates back to when we built Debian-style
Python packages. It's definitely not true now. No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22777: Add documentation for link_class=published_port.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22754-process-panel-slowness' into main. Closes #22754

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22845: restyled filters menu

* removed parens around count
* justified count to right side of menu
* added grey background on hover
* adjusted test accordingly

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22845: added support for Run History panel

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>