22859: Merge branch '22777-named-proxy-port' into 22859-service-port-range

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22859: Dynamically assign external ports for container web services.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22777: published_port links specify container request UUIDs.

...not container UUIDs.

The generic proxy endpoint (https://{uuid}-{port}.containers.domain)
can be used with either a container request UUID or a container UUID.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22859: Fix gofmt.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22859: Add container_ports table.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22791-s3-upload-concurrency'

fixes #22791

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Update arvbox to use debian 12.  refs #22864

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22232: Update MaxIndexDatabaseRead note 2

This should've been updated as part of refs #22232, which generalized
the logic rather than checking specific named columns.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22927-ansible-requirements'

Closes #22927, #22929.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22927: Document Ansible version requirements

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Simplify Workbench API_HOST template

The return value of external_addr already stringifies the way we need.
Refs #22238.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22827-save-log-before-copy'

refs #22827

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22613-http-proxy-docs'

refs #22613

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22613: Fix typo.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22791: Use atomic replace_files API for S3 uploads.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22791: Use mime.ParseMediaType to parse Content-Type header.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22613: Update list of hostnames for single-node install.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22613: Update docs re *.containers.domain wildcards.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Ansible install Workbench config API_HOST includes port, refs #22238

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22827: Flush logs and update container record before copying output.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22238-ansible-installer'

Closes #22238, #22340.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add a basic introduction to the cluster installer playbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Use inventory hostname for shell records by default

`ansible_fqdn` is more likely to be an internal hostname that isn't
useful to show users.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add an example inventory for the cluster installer playbook

This provides initial documentation of both host groups and the most
useful variables.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Fix variable name typo

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Remove out-of-date comment

Our best guess is that this dates back to when we built Debian-style
Python packages. It's definitely not true now. No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22777: Add documentation for link_class=published_port.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22754-process-panel-slowness' into main. Closes #22754

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22777: Update tests -- request vhost must match config wildcard.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22777: Use published_port links to route to container web services.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22777: Refactor container HTTP proxy routing.

Now the router identifies ContainerHTTPProxy requests by checking
whether the request host matches the configured
ContainerWebServices.ExternalURL wildcard (previously it just checked
whether the request host looked like {uuid}-{port}.*, since there was
no ContainerWebServices config entry yet).

This enables the backend ContainerHTTPProxy method to interpret the
target as {uuid}-{port} or (in the near future) a published port name.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21362: Search for bundler in the arvados-api-server package test

We need to search for Bundler the same way the package postinst does for
all the same reasons. I know this is pushing the limits of what I should
push directly to main, but:

* This is code we already have, and kind of by definition it needs to
  work the same way here, so it's been reviewed in some capacity.
* I don't see any good way to DRY this up and share this code between
  the postinst and the package test script. I mean I could
  rig *something* up, there are options, but it would all be ad hoc
  shell includes, nothing especially reliable. If someone feels strongly
  about it I'm willing to take on a follow-up ticket, but at least this
  unbreaks the build for now.

Refs #21362.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Add apt-utils to test environment packages

apt-utils provides apt-ftparchive which is run by
run-build-packages-one-target.sh to build apt repositories.
No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21362: Add tar to arvados-api-server dependencies

This is required for Passenger to install nginx, whether it downloads a
binary or compiles source. We missed this dependency before because tar
was preinstalled in our package test Docker images. Refs #21362.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22680-credentials-storage' refs #22680

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22076-download-zip'

closes #22076

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21362-rhel9-packages'

Refs #21362.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22680: Couple more cleanups

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22076: Add .zip ext if missing from requested download_filename.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Improve test error message.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Stop accumulating so many database connections in test suite.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Support download_filename param for zip download.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Fix unclosed zip.Reader. Check for unexpected metadata file.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Fix regexps to avoid inadvertent match of suffix/prefix.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Fix unchecked error.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22680: Add secret != '' to the update_all query

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21362: Document new repository for libyaml-devel in RHEL 9

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22076: Split extra-long function.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21362: Remove package test symlinks for unsupported distros

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22680: Make 'any_searchable_columns' which excludes datetime columns

Can't use datetime in all-column search because Postgresql will try to
parse the string literal into a datetime during query compile time and
throw an error.  We'd prefer the comparison just evaluated to 'false'
but that's not what it does.  Stack Overflow suggests there a solution
involving trapping the error with a SQL stored procedure but the more
immediate fix is to just ignore the columns entirely.

The fact that we haven't seen this error before means no one is
relying on this behavior, while fixing it allows us to have passing
tests that check for a concrete security concern in the credentials
API.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21362: Streamline package test Dockerfiles

Basically a lot of the Gem/Bundler setup being done here should be
handled by the RailsAPI package instead. The test is more meaningful if
we let it happen there rather than preinstalling prerequisites in the
image.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21362: Note what it means if Bundler removes "stale" gems

This is behavior I observed while trying to build Rocky 9 packages with
Ruby 3.3. RailsAPI is pinned to the last version of Nokogiri that
supports Ruby 2.7, which says that it requires Ruby <3.3.dev.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22076: Parse Accept header more carefully.

e.g., "Accept: application/zip; q=0.9"

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22680: Code cleanup and test updates

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21362: Add package build infrastructure for Rocky 9

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22076: Change API to accept the list of files in body["files"].

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21362: Add nginx compilation dependencies for rocky9 package

For reasons I don't understand, Passenger can't use a prebuilt nginx
binary on Rocky 9, it has to build it from source. Add package
dependencies for that to succeed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21362: Declare missing Passenger build dependencies

These have been masked by the packages in question being preinstalled in
the package test Dockerfile.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22680: Documentation fixups

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22076: Remove hash of PDH and filenames in suggested filename.

reverts 137096a32bc0d088e022e8f424b8b58544216f9f

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Comment about content-disposition encoding.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22849-dependabot-updates' into main. Closes #22849

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22849: Bump http-proxy-middleware to address CVE-2025-32996 and CVE-2025-32997

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22849: Bump dompurify to address CVE-2025-26791

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '22760-public-ports'

closes #22760

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22768-process-in-trashed-project' refs #22768

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '22840-structure-sql'

fixes #22840

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22760: Explain double-fetch in comments.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22754: Remove memoization from MPVPanelContent

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22822: Improve PEP 8 compliance of arvados.util

The real motivation here is to force a rebuild of PySDK packages so they
pass the new package test script. Refs #22822.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22076: Merge branch 'main' into 22076-download-zip

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22822-venv-path'

Closes #22822.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22680: Update doc to match column name changes

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22076: Document ZIP description field, add test for /by_id/ URL.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Update documentation for collection.json metadata file.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22680: Update the value used in TestRepackCost_SourceTree_Part test

Added a comment.  This value is dependent on the contents of the
source tree and may need be updated periodically as stuff gets added.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22076: Suggest filenames with .zip extension.

Duh.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Include hash of PDH and filenames in suggested filename.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22076: Save "downloaded from..." as zip comment.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22840: Fix structure-dump hook that had stopped running.

db:structure:dump is now db:schema:dump instead, see
https://github.com/rails/rails/pull/39470

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22822: Fix VIRTUAL_ENV path in Python packages

The code we have to update the `activate` script is failing on at least
some distributions, so activating the virtualenv appears to work but is
ineffective.

Trying to modify shell source on the fly is inherently a dicey
proposition. Instead of doing that, let's rely on the fact that builds
happen in an ephemeral Docker container, and just build the "source"
virtualenv in the same path where the package will install it,
eliminating the need for any rewriting.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Re-comment out COMMENT ON EXTENSION along with a comment, refs #21074

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22829: Check for upload failure at the right time

The previous version was checking the success of `set +x`.
Behold the dangers of relying on global variables.
Refs #22829.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Use become for database tasks on servers with PostgreSQL

See comments for fuller discussion.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Bugfix virtual machine fact set logic

We can't use create.stdout as a default value if we didn't actually run
the create task.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22771: Revert part of 85cd3da83438dae5f2fcfbcccab7a0c766ad9ae0.

Causes test to fail.

refs #22771

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22238: Add arvados-dispatch-cloud to cluster install playbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add boolean flag to let administrator disable login-sync

This service assumes the system uses classic user management and doesn't
work well in places with centralized identity management, etc. Provide a
simple flag to turn it off when it's not helpful.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Create virtual machine records during shell node install

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add crunch-dispatch-local to cluster install playbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Better adapt client_max_body_size to different services

This better matches the suggested values in the install guide.
In particular it allows larger WebDAV uploads.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Add arvados_shell to cluster install playbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22394-project-tab-preference' into main. Closes #22394

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22394: Pin save/discard to bottom of preferences panel

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22238: Simplify listen_addr implementation

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22238: Switch to a handler for apt updates

While `ansible.builtin.meta: flush_handlers` is more verbose than I'd
ideally like, this approach strikes the best balance I can find between
letting higher levels time `apt update` when they want it without
passing a whole bunch of arbitrary task registrations around.

This causes arvados_apt to depend on distro_apt which IMO is nice,
that's one less thing that playbooks can forget to do.

This does cause more runs of the distro_apt tasks over a playbook. For
now I think that's worth the cost. It will cause relatively few reruns
in a production deployment where most services are split across
different nodes. Doing redundant work for smaller installs isn't a case
we need to optimize for.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22771-docker-load-error'

fixes #22771

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22771: Test that LoadImage propagates errors from docker daemon.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22771: Add "no space left on device" to broken-node error blacklist.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22771: Check for errors in ImageLoad response.

Also fix repetitive log messages.

before: "While loading container image: While loading container image
into Docker: {actual error}"

after: "failed to load container image: ImageLoad failed: {actual
error}"

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>