Merge branch '21891-output-copying-performance'

fixes #21891

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Comment to explain mysterious numbers 13 and 17 in test case.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21703-collection-update-lock'

closes #21703

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Improve test failure reporting.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Fix unlogged exception.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Remove unused sdk/go/manifest package and ManifestFileReader.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21925-progress-bar-useeffect-fix' into main. Closes #21925

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21703: Merge branch 'main' into 21703-collection-update-lock

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Test trash_sweep for both active and inactive uuid_locks.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Skip extra serialization step.

In copy-by-reference, copy everything to one collfs, instead of
copying each subcollection to its own temporary collfs, concatenating
the manifests, and then loading that into a new collfs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Use collectionfs Snapshot/Splice instead of Extract.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Use bytes.Buffer to reduce string copies.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Test copier with a large collection.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Update test to accept singularity 4.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21925: Add resources to fake store for progress bar unit tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21925: Don't pass full resource to progress bar useEffect to stop request spam

* Changes progress bar fetch to accept UUID
* Split polling flag into 2 for process and project
  * Fetch method now only returns polling flag for projects
  * The previous changes for project support switched to updating isRunning
    in the fetch action where it would use the store for processes and progress
    counts for projects
  * This resulted in polling not starting if a draft process is already open
    when started since it would only update if already polling
  * This new approach uses the store (including WS updates) for processes and
    polling-based updates for projects
  * Splitting these up also allows eliminating an extra refresh when project
    polling stops while keeping a final refresh when websocket updates a process
    to stopped
* Added comments and better type guards

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21855-rpm-url-update'

Refs #21855.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21891: Move string concatenations out of per-segment loop.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Test Extract on a large manifest.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21855: Change RPM repo quoting in Python READMEs

Quote the entire here-doc rather than individual $ signs. This makes it
consistent with our web documentation and easier to maintain in the
future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21855: Update baseurl for RPM repository

This change is already made on the server side. We updated the URL to
reflect the fact that we no longer expect to publish packages for
CentOS.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21855: Update URL path for RPMs

To match a change on the server side.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21703: Skip uuid_locks table in index test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21846-rightclick-context-menu'

closes #21846

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21906-api-gems-dir'

Refs #21906.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21906: Fix typo in postinst message

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21703: Delete unused entries in uuid_locks during trash sweep.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Hold row lock in uuid_locks table during collection updates.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21906: Improve Rails postinst unconfigured reporting

The immediate bug this is fixing is: on Red Hat, if you installed the
package before a web server, it would not install /etc/arvados (because
it didn't know who should own it), but then tell you to edit
/etc/arvados/config.yml.

This commit improves that reporting, so it gives you a more specific
reason that configuration stopped, and next steps for the administrator
to take. Admittedly, I did quite a bit of work to get there, but here we
are.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21703: Add uuid_locks table.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21906: Improve WWW_OWNER handling on Red Hat systems

On Red Hat systems, if you install arvados-api-server without a web
server already installed, no user account exists that we can use to set
ownership for configuration files and writable directories. In this
case, explicitly set WWW_OWNER="" and use that to gate filesystem
setup.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21906: Correct manual gem install-dir in Rails postinst

Bundle installs to a subdirectory with the Ruby version but with patch
level = 0.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21906: Add a test for Rails packages creating multiple gems directories

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch 'zoe-translates/python-sdk-arv_copy-thread-exception'

No issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20943-trashed-role-groups' refs #20943

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

In arv-copy command, fix name error in "except" clause

In arv_copy.py, when getting or putting (as part of "arv-copy"
operation), the exception-handling clause had undefined names in
themselves.  This would not only throw a hard error at the user but also
prevent subsequent cleanup of the queues.

Fixed by binding the variable name to the exception.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

20943: Filter groups owned by a project should be deleted

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20943: Tweak the docs a bit to discuss different trashing behaviors.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21832-installer-rds-support'

closes #21832

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20943: Update collection and group API documentation

Mainly to describe the 'trash' lifecycle of trash_at and delete_at,
but made a few other improvements along the way.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21832: Allows to control whether RDS should be snapshotted before deletion.

Also, changed the default to 'true' as this is more sensible for production
environments.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20943: Force delete_at = trash_at for role groups

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21832: Allows custom postgresql version config.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Allows custom backup retention period config.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Allows to customize the initial RDS storage allocation.

Defaults to 20% of the default max storage allocation.
Also, don't ignore changes in password, as they don't require an RDS recreation
like username does.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Filters out redacted output from terraform

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Skips installing local Postgresql when using external service.

Also, makes sure that the trigram extension is enabled.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Fixes variable & output parameters naming.

The user created on RDS is not the service admin user (we don't have access
to it, actually), so we'll just use its credentials for setting up Arvados.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Enables RDS creation with multiple config params.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Adds 'use_rds' TF var to create additional VPC resources.

Even though an RDS instance supposedly can be set up as single-AZ,
it requires to be related to a DB Subnet Group resource, which in turn
requires at least 2 subnets from different AZs.
So, when enabling 'use_rds' this code creates a new subnet on a different
AZ from the one that private_subnet is in.
It also supports specifying a custom additional subnet id.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Fix another wb2 integration test typo, refs #9964

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21572-user-packages'

Refs #21572.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21621-io-panel-json-tab-copy' into main. Closes #21621

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21621: Adjust copy to clipboard padding

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21621: Add unit test for json copy to clipboard

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21894-diagnostics-dev-version-mismatch'

fixes #21894

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Fix wb2 integration typo, refs #9964

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Fix integration tests and add output_glob to wb2 API Details, refs #9964

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20943: Ensure that #destroy deletes outbound permission links

Inbound links are destroyed by ActiveRecord's has_many
relationship (e.g. destroying the record will also destroy link
records with that "head_uuid").  However, that isn't the case for
outbound links (tail_uuid).  Make sure they get cleaned up.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21894: Fix diagnostics/health version check for dev package case.

If both versions have the same major.minor.patch and different
~devTIMESTAMP suffixes, don't count that as a mismatch.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21846: applied select to context menu open

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21621: Fix accidentally passing through tabs prop to Tabs component

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21621: Add copy button to virtual code snippet for io panel json tab

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

merge 21447: closes #21447

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21572: Write CLI setup instructions with complete package directions

Fobbing the reader off to individual tool pages for install instructions
is unfriendly and more choice than they need. Just give them a set of
commands that installs everything.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Support modules in Red Hat package setup

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Add package instructions to repository includes

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Refactor repository setup docs into includes

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Remove Ubuntu universe notebox

As far as I can tell, universe has been enabled by default since at
least focal, the oldest version we currently support.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Avoid using lsb_release in Debian repository

There's nothing guaranteeing it will be installed, and in fact it's
likely to be missing from skinny server installations.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Make package repository sections consistent across each other

Now both follow the same pattern of:

* They list supported distros
* They give you one block of commands to run

I think this is the clearest we can do for now.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Remove GPG fingerprint

This information is not useful to users if we don't tell them how to
verify the fingerprint themselves.

And, that's nontrivial to do on Red Hat distros because yum downloads
and stores the key automatically.

And, there's not much reason for users to trust the fingerprint that
comes from https://doc.arvados.org more than they trust the key itself
from https://public.arvados.org.

So just remove this.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21815-trigrams-exclude-ids'

Closes #21815.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '9964-output-glob-acr' refs #9964

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21225-project-panel-tabs' into main. Closes #21225

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Add gray border to project tab bottom to distinguish tab area

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21762-flaky-search-test'

closes #21762

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '15397-remove-obsolete-apis'

refs #15397

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Pin gorilla/mux v1.8.0.

refs #21705

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21363-ubuntu2404-salt-installer'

Refs #21363.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21363: Prefix variables read from /etc/os-release

The immediate problem this solves is accidentally overwriting $VERSION
from local.params. It'll help prevent similar problems in the future
too.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21225: Update progress bar param in unit test

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Fix unset checked list breaking data table unit tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21363: Avoid Salt bootstrap script on Debian-based distros

The apt-based install method is simple enough that we don't need the
bootstrap script's help. This unblocks Ubuntu 24.04 support.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21225: Update wait-on dependency for security

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Allow multi select in project WF runs tab

* Adds forceMultiSelectMode to preserve existing behavior
* Consolidates negative margin styles to subToolbar wrapper element
* Wrapper element allows hiding toolbar without collapsing space
* Add subToolbar hiding when nothing selected and single select allowed
* Remove unnecessary route check now that styles are on the toolbar wrapper

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Fix cypress tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Create separate filter serializers to ensure runs don't show on project data tab

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Connect click handlers accidentally disconnected from project data tables

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Skip clipboard test in firefox

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Fix data table loading indicator if initialized loaded and empty

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Fix check for empty object

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Add styles to wrap mutually exclusive tabs and data explorer in same paper

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Move progressWrapper to data explorer for conditional styles

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Distinguish between main/sub process in renderer and rename to Worflow Run/Step

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Add project support to process progress bar and add to project run tab

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Add project workflow runs tab.

* Moves loadMissingProcessInformation to project panel run middleware
* Removes processes from data tab
* Removes processes from data tab filters
* Adds process type filter serializer for runs tab
* Removes process-related columns from data tab

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Rename project panel middleware to data middleware and separate data explorer

Also removes unnecessary dependencies on the middleware like references to
column names from other DataExplorers, shared getFilters that won't be able to
be shared in the future,

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Fix capped maxWidth preventing full width with negative margins on MPV

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Add mutually exclusive tabs to multi panel view, use for project tabs

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>