21891: Use collectionfs Snapshot/Splice instead of Extract.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Use bytes.Buffer to reduce string copies.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Test copier with a large collection.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Update test to accept singularity 4.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Move string concatenations out of per-segment loop.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Test Extract on a large manifest.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch 'zoe-translates/python-sdk-arv_copy-thread-exception'

No issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20943-trashed-role-groups' refs #20943

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

In arv-copy command, fix name error in "except" clause

In arv_copy.py, when getting or putting (as part of "arv-copy"
operation), the exception-handling clause had undefined names in
themselves.  This would not only throw a hard error at the user but also
prevent subsequent cleanup of the queues.

Fixed by binding the variable name to the exception.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

20943: Filter groups owned by a project should be deleted

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20943: Tweak the docs a bit to discuss different trashing behaviors.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21832-installer-rds-support'

closes #21832

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20943: Update collection and group API documentation

Mainly to describe the 'trash' lifecycle of trash_at and delete_at,
but made a few other improvements along the way.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21832: Allows to control whether RDS should be snapshotted before deletion.

Also, changed the default to 'true' as this is more sensible for production
environments.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20943: Force delete_at = trash_at for role groups

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21832: Allows custom postgresql version config.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Allows custom backup retention period config.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Allows to customize the initial RDS storage allocation.

Defaults to 20% of the default max storage allocation.
Also, don't ignore changes in password, as they don't require an RDS recreation
like username does.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Filters out redacted output from terraform

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Skips installing local Postgresql when using external service.

Also, makes sure that the trigram extension is enabled.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Fixes variable & output parameters naming.

The user created on RDS is not the service admin user (we don't have access
to it, actually), so we'll just use its credentials for setting up Arvados.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Enables RDS creation with multiple config params.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Adds 'use_rds' TF var to create additional VPC resources.

Even though an RDS instance supposedly can be set up as single-AZ,
it requires to be related to a DB Subnet Group resource, which in turn
requires at least 2 subnets from different AZs.
So, when enabling 'use_rds' this code creates a new subnet on a different
AZ from the one that private_subnet is in.
It also supports specifying a custom additional subnet id.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Fix another wb2 integration test typo, refs #9964

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21572-user-packages'

Refs #21572.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21621-io-panel-json-tab-copy' into main. Closes #21621

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21621: Adjust copy to clipboard padding

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21621: Add unit test for json copy to clipboard

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21894-diagnostics-dev-version-mismatch'

fixes #21894

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Fix wb2 integration typo, refs #9964

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Fix integration tests and add output_glob to wb2 API Details, refs #9964

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20943: Ensure that #destroy deletes outbound permission links

Inbound links are destroyed by ActiveRecord's has_many
relationship (e.g. destroying the record will also destroy link
records with that "head_uuid").  However, that isn't the case for
outbound links (tail_uuid).  Make sure they get cleaned up.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21894: Fix diagnostics/health version check for dev package case.

If both versions have the same major.minor.patch and different
~devTIMESTAMP suffixes, don't count that as a mismatch.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21621: Fix accidentally passing through tabs prop to Tabs component

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21621: Add copy button to virtual code snippet for io panel json tab

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

merge 21447: closes #21447

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21572: Write CLI setup instructions with complete package directions

Fobbing the reader off to individual tool pages for install instructions
is unfriendly and more choice than they need. Just give them a set of
commands that installs everything.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Support modules in Red Hat package setup

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Add package instructions to repository includes

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Refactor repository setup docs into includes

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Remove Ubuntu universe notebox

As far as I can tell, universe has been enabled by default since at
least focal, the oldest version we currently support.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Avoid using lsb_release in Debian repository

There's nothing guaranteeing it will be installed, and in fact it's
likely to be missing from skinny server installations.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Make package repository sections consistent across each other

Now both follow the same pattern of:

* They list supported distros
* They give you one block of commands to run

I think this is the clearest we can do for now.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Remove GPG fingerprint

This information is not useful to users if we don't tell them how to
verify the fingerprint themselves.

And, that's nontrivial to do on Red Hat distros because yum downloads
and stores the key automatically.

And, there's not much reason for users to trust the fingerprint that
comes from https://doc.arvados.org more than they trust the key itself
from https://public.arvados.org.

So just remove this.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21815-trigrams-exclude-ids'

Closes #21815.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '9964-output-glob-acr' refs #9964

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21225-project-panel-tabs' into main. Closes #21225

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Add gray border to project tab bottom to distinguish tab area

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21762-flaky-search-test'

closes #21762

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '15397-remove-obsolete-apis'

refs #15397

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Pin gorilla/mux v1.8.0.

refs #21705

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21363-ubuntu2404-salt-installer'

Refs #21363.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21363: Prefix variables read from /etc/os-release

The immediate problem this solves is accidentally overwriting $VERSION
from local.params. It'll help prevent similar problems in the future
too.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21225: Update progress bar param in unit test

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Fix unset checked list breaking data table unit tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21363: Avoid Salt bootstrap script on Debian-based distros

The apt-based install method is simple enough that we don't need the
bootstrap script's help. This unblocks Ubuntu 24.04 support.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21225: Update wait-on dependency for security

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Allow multi select in project WF runs tab

* Adds forceMultiSelectMode to preserve existing behavior
* Consolidates negative margin styles to subToolbar wrapper element
* Wrapper element allows hiding toolbar without collapsing space
* Add subToolbar hiding when nothing selected and single select allowed
* Remove unnecessary route check now that styles are on the toolbar wrapper

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Fix cypress tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Create separate filter serializers to ensure runs don't show on project data tab

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Connect click handlers accidentally disconnected from project data tables

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Skip clipboard test in firefox

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Fix data table loading indicator if initialized loaded and empty

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Fix check for empty object

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Add styles to wrap mutually exclusive tabs and data explorer in same paper

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Move progressWrapper to data explorer for conditional styles

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Distinguish between main/sub process in renderer and rename to Worflow Run/Step

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Add project support to process progress bar and add to project run tab

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Add project workflow runs tab.

* Moves loadMissingProcessInformation to project panel run middleware
* Removes processes from data tab
* Removes processes from data tab filters
* Adds process type filter serializer for runs tab
* Removes process-related columns from data tab

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Rename project panel middleware to data middleware and separate data explorer

Also removes unnecessary dependencies on the middleware like references to
column names from other DataExplorers, shared getFilters that won't be able to
be shared in the future,

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Fix capped maxWidth preventing full width with negative margins on MPV

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Add mutually exclusive tabs to multi panel view, use for project tabs

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Combine project panel id consts

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21363: Pin SALT_VERSION to the latest minor version

The current Salt bootstrap script seems to want this: starting from
3007, it expects to be able to find what it's looking for under a
`minor/` subdirectory, and the subdirectories of that all follow
`300X.Y/` format.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21363: Update Salt versions to support Ubuntu 24.04

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21762: fixed sidepanel props

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21762: tweaked callback observer

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Revert "21762: added trycatch to observer callback"

This reverts commit 4a9e5c926179b3ab8ff7231904e2db93d42149e0.

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

20943: role groups should now handle being trashed

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21841-missing-vocab' refs #21841

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21841: Spell out arvados-cwl-runner instead of a-c-r

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21363-ubuntu2404-package-build'

Refs #21363.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

9964: Fix test and add secondaryFiles to test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

9964: Update committed discovery doc

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21363: Add ubuntu2404 packages

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21363: Remove python3-distutils dependencies

These are remnants from before we switched to packaging
virtualenvs. They are long out-of-date, and recent distributions like
Ubuntu 24.04 no longer package distutils.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21363: DRY up package re-download code

This gives the deb branch some of the same reliability improvements that
the rpm branch got previously.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21863-remove-cwltest-package'

Closes #21863.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch 'main' into 9964-output-glob-acr

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch 'main' into 21841-missing-vocab

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21762: added trycatch to observer callback

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21863: Install setuptools alongside cwltest

See comments for rationale. This only becomes a problem on Python 3.12+,
when new venvs stopped including setuptools by default. But I would
rather be defensive and address this now just in case, rather than have
to re-diagnose the problem in the future if it comes up again.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21863: Add missing newlines to printf strings

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21863: Run piprepo only when building a distro package

This saves a little work when we're only building one package.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21863: Stop building cwltest distro package

This was previously used to run the CWL conformance test on shell
nodes. We have an entirely different testing strategy now, so we no
longer need the package. Any users who want it can still get it from
upstream.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21863: Remove test scripts for Red Hat SCL python36 packages

We stopped building these a while ago. These test scripts are leftover
cruft.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21762: test timeouts and assertions

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

9964: Update comment

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21815: Remove UUID and hash columns from trigram indexes

This should provide more helpful search results when users search for
their own internal arbitrary IDs and improve search performance.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

9964: A few more special cases of output patterns

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>