22819: Update test to use credentials from arvados

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22819: Getting credential from Arvados passed manual test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22819: Fix typo

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22819: Fix message

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22819: First draft credential API for S3 downloads

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22827-save-log-before-copy'

refs #22827

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22360: First pass replacing DE loading indicator with skeleton

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '22613-http-proxy-docs'

refs #22613

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22613: Fix typo.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22791: Use atomic replace_files API for S3 uploads.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22791: Use mime.ParseMediaType to parse Content-Type header.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22845: fixed counts not updating when switching between projects

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22613: Update list of hostnames for single-node install.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22613: Update docs re *.containers.domain wildcards.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22845: adjusted unit test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22845: css tweaks

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22845: changed count from number to string

* this allows null check (empty string vs '0') instead of tracking startloading/loaded states

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22845: added treedotssuspense component

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Ansible install Workbench config API_HOST includes port, refs #22238

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22845: counts now update when fetched

* also added commas to counts

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22845: shared with me now displays counts

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22827: Test output with 1000-file input collection.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22827: Flush logs and update container record before copying output.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22845: counts display in all processes panel

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22238-ansible-installer'

Closes #22238, #22340.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add a basic introduction to the cluster installer playbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Use inventory hostname for shell records by default

`ansible_fqdn` is more likely to be an internal hostname that isn't
useful to show users.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add an example inventory for the cluster installer playbook

This provides initial documentation of both host groups and the most
useful variables.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Fix variable name typo

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Remove out-of-date comment

Our best guess is that this dates back to when we built Debian-style
Python packages. It's definitely not true now. No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22777: Add documentation for link_class=published_port.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22754-process-panel-slowness' into main. Closes #22754

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22845: restyled filters menu

* removed parens around count
* justified count to right side of menu
* added grey background on hover
* adjusted test accordingly

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22845: added support for Run History panel

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22793: removed panel maximize/minimize functionality

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22777: Update tests -- request vhost must match config wildcard.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22793: added details cardfor Process, Collection, and Workflow resources

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22777: Use published_port links to route to container web services.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22777: Refactor container HTTP proxy routing.

Now the router identifies ContainerHTTPProxy requests by checking
whether the request host matches the configured
ContainerWebServices.ExternalURL wildcard (previously it just checked
whether the request host looked like {uuid}-{port}.*, since there was
no ContainerWebServices config entry yet).

This enables the backend ContainerHTTPProxy method to interpret the
target as {uuid}-{port} or (in the near future) a published port name.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21362: Search for bundler in the arvados-api-server package test

We need to search for Bundler the same way the package postinst does for
all the same reasons. I know this is pushing the limits of what I should
push directly to main, but:

* This is code we already have, and kind of by definition it needs to
  work the same way here, so it's been reviewed in some capacity.
* I don't see any good way to DRY this up and share this code between
  the postinst and the package test script. I mean I could
  rig *something* up, there are options, but it would all be ad hoc
  shell includes, nothing especially reliable. If someone feels strongly
  about it I'm willing to take on a follow-up ticket, but at least this
  unbreaks the build for now.

Refs #21362.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Add apt-utils to test environment packages

apt-utils provides apt-ftparchive which is run by
run-build-packages-one-target.sh to build apt repositories.
No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21362: Add tar to arvados-api-server dependencies

This is required for Passenger to install nginx, whether it downloads a
binary or compiles source. We missed this dependency before because tar
was preinstalled in our package test Docker images. Refs #21362.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22793: Simplified project details card

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22793: adjusted css so that tab views extend to take up vertical and horizontal space

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22793: removed mutually exclusive prop from MPV

* MPV now treats all children as mutually exclusive

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22680-credentials-storage' refs #22680

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22076-download-zip'

closes #22076

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21362-rhel9-packages'

Refs #21362.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22845: added test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22680: Couple more cleanups

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22076: Add .zip ext if missing from requested download_filename.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Improve test error message.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22845 fixed unit tests

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22845: fixed circular dependancy

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22845: status query now returns draft state, draft populates in filter list

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22076: Stop accumulating so many database connections in test suite.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Support download_filename param for zip download.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22845: removed progress bar file

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22076: Fix unclosed zip.Reader. Check for unexpected metadata file.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Fix regexps to avoid inadvertent match of suffix/prefix.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22845: re-implented typeFilter mechanism

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22076: Fix unchecked error.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22680: Add secret != '' to the update_all query

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21362: Document new repository for libyaml-devel in RHEL 9

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22076: Split extra-long function.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21362: Remove package test symlinks for unsupported distros

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22680: Make 'any_searchable_columns' which excludes datetime columns

Can't use datetime in all-column search because Postgresql will try to
parse the string literal into a datetime during query compile time and
throw an error.  We'd prefer the comparison just evaluated to 'false'
but that's not what it does.  Stack Overflow suggests there a solution
involving trapping the error with a SQL stored procedure but the more
immediate fix is to just ignore the columns entirely.

The fact that we haven't seen this error before means no one is
relying on this behavior, while fixing it allows us to have passing
tests that check for a concrete security concern in the credentials
API.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21362: Streamline package test Dockerfiles

Basically a lot of the Gem/Bundler setup being done here should be
handled by the RailsAPI package instead. The test is more meaningful if
we let it happen there rather than preinstalling prerequisites in the
image.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21362: Note what it means if Bundler removes "stale" gems

This is behavior I observed while trying to build Rocky 9 packages with
Ruby 3.3. RailsAPI is pinned to the last version of Nokogiri that
supports Ruby 2.7, which says that it requires Ruby <3.3.dev.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22076: Parse Accept header more carefully.

e.g., "Accept: application/zip; q=0.9"

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22680: Code cleanup and test updates

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21362: Add package build infrastructure for Rocky 9

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22076: Change API to accept the list of files in body["files"].

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21362: Add nginx compilation dependencies for rocky9 package

For reasons I don't understand, Passenger can't use a prebuilt nginx
binary on Rocky 9, it has to build it from source. Add package
dependencies for that to succeed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21362: Declare missing Passenger build dependencies

These have been masked by the packages in question being preinstalled in
the package test Dockerfile.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22680: Documentation fixups

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22076: Remove hash of PDH and filenames in suggested filename.

reverts 137096a32bc0d088e022e8f424b8b58544216f9f

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22845: fixed filter count not updating

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22076: Comment about content-disposition encoding.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22845: status counts display in filters popover

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22849-dependabot-updates' into main. Closes #22849

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22849: Bump http-proxy-middleware to address CVE-2025-32996 and CVE-2025-32997

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22849: Bump dompurify to address CVE-2025-26791

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22845: status filters fetch and pass to Data Explorer

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22760-public-ports'

closes #22760

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22768-process-in-trashed-project' refs #22768

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22840-structure-sql'

fixes #22840

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22760: Explain double-fetch in comments.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22754: Remove memoization from MPVPanelContent

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22822: Improve PEP 8 compliance of arvados.util

The real motivation here is to force a rebuild of PySDK packages so they
pass the new package test script. Refs #22822.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22076: Merge branch 'main' into 22076-download-zip

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22822-venv-path'

Closes #22822.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22680: Update doc to match column name changes

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22076: Document ZIP description field, add test for /by_id/ URL.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Update documentation for collection.json metadata file.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22680: Update the value used in TestRepackCost_SourceTree_Part test

Added a comment.  This value is dependent on the contents of the
source tree and may need be updated periodically as stuff gets added.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22076: Suggest filenames with .zip extension.

Duh.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Include hash of PDH and filenames in suggested filename.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Save "downloaded from..." as zip comment.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22840: Fix structure-dump hook that had stopped running.

db:structure:dump is now db:schema:dump instead, see
https://github.com/rails/rails/pull/39470

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>