20640: Merge branch 'main' into 20640-computed-permissions-api

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Fix obfuscated asserts.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Add locales and unzip to install deps

Commands from both these packages are used directly by `arvados-server install`.
No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21933-deps-upgrade'

closes #21933

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21891-output-copying-performance'

fixes #21891

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Comment to explain mysterious numbers 13 and 17 in test case.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Update docstring to clarify usage and link to list method.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Make test parameterization more readable.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21933: Replaces gopkg.in/square/go-jose.v2 to address CVE-2024-28180

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21933: Upgrades rails to 7.0.8.4 to address CVE-2024-28103

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21933: Upgrades github.com/hashicorp/go-retryablehttp to address CVE-2024-6104

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20640: Simplify 'select' munging.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Change key_fields to a Container, since order doesn't matter.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Fix iter_computed_permissions args not being propagated.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Fix secondary sort column (use tiebreak_key, not 'uuid').

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Add iter_computed_permissions tests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21703-collection-update-lock'

closes #21703

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Improve test failure reporting.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Fix unlogged exception.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Remove unused sdk/go/manifest package and ManifestFileReader.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21925-progress-bar-useeffect-fix' into main. Closes #21925

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

20640: Add iter_computed_permissions.

Add explicit key_fields argument to keyset_list_all() instead of
modifying behavior automatically based on API responses.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Merge branch 'main' into 21703-collection-update-lock

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Test trash_sweep for both active and inactive uuid_locks.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Skip extra serialization step.

In copy-by-reference, copy everything to one collfs, instead of
copying each subcollection to its own temporary collfs, concatenating
the manifests, and then loading that into a new collfs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Use collectionfs Snapshot/Splice instead of Extract.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Use bytes.Buffer to reduce string copies.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Test copier with a large collection.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Update test to accept singularity 4.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21925: Add resources to fake store for progress bar unit tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21925: Don't pass full resource to progress bar useEffect to stop request spam

* Changes progress bar fetch to accept UUID
* Split polling flag into 2 for process and project
  * Fetch method now only returns polling flag for projects
  * The previous changes for project support switched to updating isRunning
    in the fetch action where it would use the store for processes and progress
    counts for projects
  * This resulted in polling not starting if a draft process is already open
    when started since it would only update if already polling
  * This new approach uses the store (including WS updates) for processes and
    polling-based updates for projects
  * Splitting these up also allows eliminating an extra refresh when project
    polling stops while keeping a final refresh when websocket updates a process
    to stopped
* Added comments and better type guards

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21855-rpm-url-update'

Refs #21855.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21891: Move string concatenations out of per-segment loop.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Test Extract on a large manifest.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21855: Change RPM repo quoting in Python READMEs

Quote the entire here-doc rather than individual $ signs. This makes it
consistent with our web documentation and easier to maintain in the
future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21855: Update baseurl for RPM repository

This change is already made on the server side. We updated the URL to
reflect the fact that we no longer expect to publish packages for
CentOS.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21855: Update URL path for RPMs

To match a change on the server side.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20640: Use reject instead of select for readability.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Test keyset_list_all + computed_permissions + select usage.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Skip uuid_locks table in index test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21846-rightclick-context-menu'

closes #21846

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21906-api-gems-dir'

Refs #21906.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21906: Fix typo in postinst message

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21703: Delete unused entries in uuid_locks during trash sweep.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Hold row lock in uuid_locks table during collection updates.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21906: Improve Rails postinst unconfigured reporting

The immediate bug this is fixing is: on Red Hat, if you installed the
package before a web server, it would not install /etc/arvados (because
it didn't know who should own it), but then tell you to edit
/etc/arvados/config.yml.

This commit improves that reporting, so it gives you a more specific
reason that configuration stopped, and next steps for the administrator
to take. Admittedly, I did quite a bit of work to get there, but here we
are.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21703: Add uuid_locks table.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21906: Improve WWW_OWNER handling on Red Hat systems

On Red Hat systems, if you install arvados-api-server without a web
server already installed, no user account exists that we can use to set
ownership for configuration files and writable directories. In this
case, explicitly set WWW_OWNER="" and use that to gate filesystem
setup.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21906: Correct manual gem install-dir in Rails postinst

Bundle installs to a subdirectory with the Ruby version but with patch
level = 0.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21906: Add a test for Rails packages creating multiple gems directories

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch 'zoe-translates/python-sdk-arv_copy-thread-exception'

No issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20943-trashed-role-groups' refs #20943

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

In arv-copy command, fix name error in "except" clause

In arv_copy.py, when getting or putting (as part of "arv-copy"
operation), the exception-handling clause had undefined names in
themselves.  This would not only throw a hard error at the user but also
prevent subsequent cleanup of the queues.

Fixed by binding the variable name to the exception.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

20943: Filter groups owned by a project should be deleted

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20943: Tweak the docs a bit to discuss different trashing behaviors.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21832-installer-rds-support'

closes #21832

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20943: Update collection and group API documentation

Mainly to describe the 'trash' lifecycle of trash_at and delete_at,
but made a few other improvements along the way.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20640: Test computed permission API through controller.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Add test for specific implicit permission entry.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Add API docs for computed permissions.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Fix crash on limit_database_read.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Ensure offset=0 for computed permissions API.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Ensure count=none for computed permissions API.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Fix keyset paging for computed permissions.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Fix test for table_name override / no searchable columns.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Add computed permissions API.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21832: Allows to control whether RDS should be snapshotted before deletion.

Also, changed the default to 'true' as this is more sensible for production
environments.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20943: Force delete_at = trash_at for role groups

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21832: Allows custom postgresql version config.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Allows custom backup retention period config.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Allows to customize the initial RDS storage allocation.

Defaults to 20% of the default max storage allocation.
Also, don't ignore changes in password, as they don't require an RDS recreation
like username does.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Filters out redacted output from terraform

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Skips installing local Postgresql when using external service.

Also, makes sure that the trigram extension is enabled.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Fixes variable & output parameters naming.

The user created on RDS is not the service admin user (we don't have access
to it, actually), so we'll just use its credentials for setting up Arvados.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Enables RDS creation with multiple config params.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Adds 'use_rds' TF var to create additional VPC resources.

Even though an RDS instance supposedly can be set up as single-AZ,
it requires to be related to a DB Subnet Group resource, which in turn
requires at least 2 subnets from different AZs.
So, when enabling 'use_rds' this code creates a new subnet on a different
AZ from the one that private_subnet is in.
It also supports specifying a custom additional subnet id.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Fix another wb2 integration test typo, refs #9964

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21572-user-packages'

Refs #21572.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21621-io-panel-json-tab-copy' into main. Closes #21621

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21621: Adjust copy to clipboard padding

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21621: Add unit test for json copy to clipboard

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21894-diagnostics-dev-version-mismatch'

fixes #21894

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Fix wb2 integration typo, refs #9964

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Fix integration tests and add output_glob to wb2 API Details, refs #9964

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20943: Ensure that #destroy deletes outbound permission links

Inbound links are destroyed by ActiveRecord's has_many
relationship (e.g. destroying the record will also destroy link
records with that "head_uuid").  However, that isn't the case for
outbound links (tail_uuid).  Make sure they get cleaned up.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21894: Fix diagnostics/health version check for dev package case.

If both versions have the same major.minor.patch and different
~devTIMESTAMP suffixes, don't count that as a mismatch.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21846: applied select to context menu open

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21621: Fix accidentally passing through tabs prop to Tabs component

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21621: Add copy button to virtual code snippet for io panel json tab

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

merge 21447: closes #21447

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21572: Write CLI setup instructions with complete package directions

Fobbing the reader off to individual tool pages for install instructions
is unfriendly and more choice than they need. Just give them a set of
commands that installs everything.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Support modules in Red Hat package setup

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Add package instructions to repository includes

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Refactor repository setup docs into includes

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Remove Ubuntu universe notebox

As far as I can tell, universe has been enabled by default since at
least focal, the oldest version we currently support.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Avoid using lsb_release in Debian repository

There's nothing guaranteeing it will be installed, and in fact it's
likely to be missing from skinny server installations.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Make package repository sections consistent across each other

Now both follow the same pattern of:

* They list supported distros
* They give you one block of commands to run

I think this is the clearest we can do for now.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21572: Remove GPG fingerprint

This information is not useful to users if we don't tell them how to
verify the fingerprint themselves.

And, that's nontrivial to do on Red Hat distros because yum downloads
and stores the key automatically.

And, there's not much reason for users to trust the fingerprint that
comes from https://doc.arvados.org more than they trust the key itself
from https://public.arvados.org.

So just remove this.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21815-trigrams-exclude-ids'

Closes #21815.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '9964-output-glob-acr' refs #9964

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>