Merge branch '22754-process-panel-slowness' into main. Closes #22754

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21362: Search for bundler in the arvados-api-server package test

We need to search for Bundler the same way the package postinst does for
all the same reasons. I know this is pushing the limits of what I should
push directly to main, but:

* This is code we already have, and kind of by definition it needs to
  work the same way here, so it's been reviewed in some capacity.
* I don't see any good way to DRY this up and share this code between
  the postinst and the package test script. I mean I could
  rig *something* up, there are options, but it would all be ad hoc
  shell includes, nothing especially reliable. If someone feels strongly
  about it I'm willing to take on a follow-up ticket, but at least this
  unbreaks the build for now.

Refs #21362.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Add apt-utils to test environment packages

apt-utils provides apt-ftparchive which is run by
run-build-packages-one-target.sh to build apt repositories.
No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21362: Add tar to arvados-api-server dependencies

This is required for Passenger to install nginx, whether it downloads a
binary or compiles source. We missed this dependency before because tar
was preinstalled in our package test Docker images. Refs #21362.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22680-credentials-storage' refs #22680

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22076-download-zip'

closes #22076

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21362-rhel9-packages'

Refs #21362.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22680: Couple more cleanups

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22076: Add .zip ext if missing from requested download_filename.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Improve test error message.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Stop accumulating so many database connections in test suite.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Support download_filename param for zip download.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Fix unclosed zip.Reader. Check for unexpected metadata file.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Fix regexps to avoid inadvertent match of suffix/prefix.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Fix unchecked error.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22680: Add secret != '' to the update_all query

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21362: Document new repository for libyaml-devel in RHEL 9

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22076: Split extra-long function.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21362: Remove package test symlinks for unsupported distros

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22680: Make 'any_searchable_columns' which excludes datetime columns

Can't use datetime in all-column search because Postgresql will try to
parse the string literal into a datetime during query compile time and
throw an error.  We'd prefer the comparison just evaluated to 'false'
but that's not what it does.  Stack Overflow suggests there a solution
involving trapping the error with a SQL stored procedure but the more
immediate fix is to just ignore the columns entirely.

The fact that we haven't seen this error before means no one is
relying on this behavior, while fixing it allows us to have passing
tests that check for a concrete security concern in the credentials
API.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21362: Streamline package test Dockerfiles

Basically a lot of the Gem/Bundler setup being done here should be
handled by the RailsAPI package instead. The test is more meaningful if
we let it happen there rather than preinstalling prerequisites in the
image.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21362: Note what it means if Bundler removes "stale" gems

This is behavior I observed while trying to build Rocky 9 packages with
Ruby 3.3. RailsAPI is pinned to the last version of Nokogiri that
supports Ruby 2.7, which says that it requires Ruby <3.3.dev.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22076: Parse Accept header more carefully.

e.g., "Accept: application/zip; q=0.9"

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22680: Code cleanup and test updates

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21362: Add package build infrastructure for Rocky 9

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22076: Change API to accept the list of files in body["files"].

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21362: Add nginx compilation dependencies for rocky9 package

For reasons I don't understand, Passenger can't use a prebuilt nginx
binary on Rocky 9, it has to build it from source. Add package
dependencies for that to succeed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21362: Declare missing Passenger build dependencies

These have been masked by the packages in question being preinstalled in
the package test Dockerfile.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22680: Documentation fixups

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22076: Remove hash of PDH and filenames in suggested filename.

reverts 137096a32bc0d088e022e8f424b8b58544216f9f

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Comment about content-disposition encoding.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22849-dependabot-updates' into main. Closes #22849

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22849: Bump http-proxy-middleware to address CVE-2025-32996 and CVE-2025-32997

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22849: Bump dompurify to address CVE-2025-26791

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '22760-public-ports'

closes #22760

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22768-process-in-trashed-project' refs #22768

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22840-structure-sql'

fixes #22840

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22760: Explain double-fetch in comments.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22754: Remove memoization from MPVPanelContent

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22822: Improve PEP 8 compliance of arvados.util

The real motivation here is to force a rebuild of PySDK packages so they
pass the new package test script. Refs #22822.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22076: Merge branch 'main' into 22076-download-zip

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22822-venv-path'

Closes #22822.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22680: Update doc to match column name changes

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22076: Document ZIP description field, add test for /by_id/ URL.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Update documentation for collection.json metadata file.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22680: Update the value used in TestRepackCost_SourceTree_Part test

Added a comment.  This value is dependent on the contents of the
source tree and may need be updated periodically as stuff gets added.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22076: Suggest filenames with .zip extension.

Duh.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Include hash of PDH and filenames in suggested filename.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Save "downloaded from..." as zip comment.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22840: Fix structure-dump hook that had stopped running.

db:structure:dump is now db:schema:dump instead, see
https://github.com/rails/rails/pull/39470

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22822: Fix VIRTUAL_ENV path in Python packages

The code we have to update the `activate` script is failing on at least
some distributions, so activating the virtualenv appears to work but is
ineffective.

Trying to modify shell source on the fly is inherently a dicey
proposition. Instead of doing that, let's rely on the fact that builds
happen in an ephemeral Docker container, and just build the "source"
virtualenv in the same path where the package will install it,
eliminating the need for any rewriting.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Re-comment out COMMENT ON EXTENSION along with a comment, refs #21074

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22829: Check for upload failure at the right time

The previous version was checking the success of `set +x`.
Behold the dangers of relying on global variables.
Refs #22829.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22771: Revert part of 85cd3da83438dae5f2fcfbcccab7a0c766ad9ae0.

Causes test to fail.

refs #22771

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22394-project-tab-preference' into main. Closes #22394

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22394: Pin save/discard to bottom of preferences panel

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '22771-docker-load-error'

fixes #22771

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22771: Test that LoadImage propagates errors from docker daemon.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22771: Add "no space left on device" to broken-node error blacklist.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22771: Check for errors in ImageLoad response.

Also fix repetitive log messages.

before: "While loading container image: While loading container image
into Docker: {actual error}"

after: "failed to load container image: ImageLoad failed: {actual
error}"

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22785-ambiguous-column'

fixes #22785

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Add last-modified user info to collection.json metadata.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Fix ActiveModel::MissingAttributeError on select=[full_name].

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Add description, created_at, and modified_at to zip metadata.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Include file_count=N in upload and download logs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Check suggested filename when testing single-dir download.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22768: Commit the bug fix in structure.sql

Also added some notes to the test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22768: Add migration

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22768: Add test checking container priority when trash_at is in the future

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22778-arvados-pkgs-pin'. Closes #22778

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22778: Updates arvados-formula commit id.

Now it points to the latest main merged version.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22785: Fix ambiguous column name in join query.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22785: Test failure mode with ambiguous column in order param.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22680: Rename columns based on feedback

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22778: Updates arvados-formula commit.

Uses the latest version with simplified pin package logic, not requiring
an additional pillar key to enable it.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '22564-multiselect-tests'

closes #22564

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22679: Update header comment about supported distros

Refs #22679.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22564: adjusted cypress commands

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22394: Wrap MPV tests in fake store now that it's connected.

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22680: Include credential_id in credential_secret API

Removed the special logic on expires_at.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22394: Add tests for default project tab setting

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22394: Update wuth store with updated user if uuid matches logged in user

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22394: Extract router from props to avoid passing it to child components

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22680: Expire credential_secret in trash_sweep

Add missing test file

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22760: Bypass auth for ports marked "public" in published_ports.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22680: Trying to get the schema all synchronized

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Make expires_at more strict

Don't allow expires_at to be moved into the future after it has been
set unless also changing the secret.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Add CredentialScopes to Go SDK

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Fix table styles

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Add documentation for credentials API

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22394: Reset project tabs to preferred when route changes

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22394: Set default project tab based on user preference

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22680: Add credential_scopes

I'm certain that we will want this eventually (I want to have a way to
look up what credentials to use based on the resource being accessed),
so it should just be included from the beginning.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Don't create obsolete column modified_by_client_uuid

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Fix syntax

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Passing API server tests

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22680: Build out the tests, add secret fetching

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22394: Fix prefs page styling and display project tab options as row

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22680: Add initial migration and classes

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22778: Makes installer use the newer arvados-formula with pkg pin support.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>