Merge branch '21764-project-picker-crash' into main. Closes #21764

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '15814-wb2-secrets' refs #15814

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

15814: Fix runtime typecheck error

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch 'main' into 15814-wb2-secrets

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20640-computed-permissions-api'

closes #20640

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Merge branch 'main' into 20640-computed-permissions-api

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Fix obfuscated asserts.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21764: Consolidate tree node extraction to be reused for tests, add TreePicker unit tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21764: Add more type safety to TreePicker

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21764: Add better type safety to TreePicker and handle empty string name

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21764: Preload cypress in wb2 build docker and start cypress as e2e by default

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

15814: Specifically communicate secrets cannot be displayed

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Add locales and unzip to install deps

Commands from both these packages are used directly by `arvados-server install`.
No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

15814: Simplify conditionals

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

15814: Fix tabs -> spaces

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21933-deps-upgrade'

closes #21933

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21891-output-copying-performance'

fixes #21891

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Comment to explain mysterious numbers 13 and 17 in test case.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Update docstring to clarify usage and link to list method.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Make test parameterization more readable.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21933: Replaces gopkg.in/square/go-jose.v2 to address CVE-2024-28180

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21933: Upgrades rails to 7.0.8.4 to address CVE-2024-28103

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21933: Upgrades github.com/hashicorp/go-retryablehttp to address CVE-2024-6104

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20640: Simplify 'select' munging.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Change key_fields to a Container, since order doesn't matter.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Fix iter_computed_permissions args not being propagated.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Fix secondary sort column (use tiebreak_key, not 'uuid').

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Add iter_computed_permissions tests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21703-collection-update-lock'

closes #21703

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Improve test failure reporting.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Fix unlogged exception.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Remove unused sdk/go/manifest package and ManifestFileReader.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15814: Catch error that otherwise goes unhandled

Running into this with some tests, during teardown.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

15814: Fix request intercepts that assume certain field in response

During teardown, the intercept is still active but requests may return
404 from upstream, causing the intercept that modifies the reponse to fail.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

15814: Fix unit test, trying to figure out test that only fails on jenkins

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

15814: Name test user consistently

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

15814: Fix sequencing for setupDockerImage

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

15814: Remove .only

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

15814: Add missing file

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

15814: Have FAIL_FAST default false unless interactive

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

15814: Add e2e test for workflows with secrets

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

15814: Add cypress fail fast and tweak some process tests

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

15814: Secret inputs now render as password inputs

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

15814: Now handles secret inputs properly.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

15814: Fix "secret store only accepts strings" error

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21925-progress-bar-useeffect-fix' into main. Closes #21925

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

20640: Add iter_computed_permissions.

Add explicit key_fields argument to keyset_list_all() instead of
modifying behavior automatically based on API responses.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Merge branch 'main' into 21703-collection-update-lock

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Test trash_sweep for both active and inactive uuid_locks.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Skip extra serialization step.

In copy-by-reference, copy everything to one collfs, instead of
copying each subcollection to its own temporary collfs, concatenating
the manifests, and then loading that into a new collfs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Use collectionfs Snapshot/Splice instead of Extract.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Use bytes.Buffer to reduce string copies.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Test copier with a large collection.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Update test to accept singularity 4.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21925: Add resources to fake store for progress bar unit tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21925: Don't pass full resource to progress bar useEffect to stop request spam

* Changes progress bar fetch to accept UUID
* Split polling flag into 2 for process and project
  * Fetch method now only returns polling flag for projects
  * The previous changes for project support switched to updating isRunning
    in the fetch action where it would use the store for processes and progress
    counts for projects
  * This resulted in polling not starting if a draft process is already open
    when started since it would only update if already polling
  * This new approach uses the store (including WS updates) for processes and
    polling-based updates for projects
  * Splitting these up also allows eliminating an extra refresh when project
    polling stops while keeping a final refresh when websocket updates a process
    to stopped
* Added comments and better type guards

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21855-rpm-url-update'

Refs #21855.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21891: Move string concatenations out of per-segment loop.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21891: Test Extract on a large manifest.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21855: Change RPM repo quoting in Python READMEs

Quote the entire here-doc rather than individual $ signs. This makes it
consistent with our web documentation and easier to maintain in the
future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21855: Update baseurl for RPM repository

This change is already made on the server side. We updated the URL to
reflect the fact that we no longer expect to publish packages for
CentOS.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21855: Update URL path for RPMs

To match a change on the server side.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20640: Use reject instead of select for readability.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Test keyset_list_all + computed_permissions + select usage.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Skip uuid_locks table in index test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21846-rightclick-context-menu'

closes #21846

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21906-api-gems-dir'

Refs #21906.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21906: Fix typo in postinst message

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21703: Delete unused entries in uuid_locks during trash sweep.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21703: Hold row lock in uuid_locks table during collection updates.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21906: Improve Rails postinst unconfigured reporting

The immediate bug this is fixing is: on Red Hat, if you installed the
package before a web server, it would not install /etc/arvados (because
it didn't know who should own it), but then tell you to edit
/etc/arvados/config.yml.

This commit improves that reporting, so it gives you a more specific
reason that configuration stopped, and next steps for the administrator
to take. Admittedly, I did quite a bit of work to get there, but here we
are.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21703: Add uuid_locks table.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21906: Improve WWW_OWNER handling on Red Hat systems

On Red Hat systems, if you install arvados-api-server without a web
server already installed, no user account exists that we can use to set
ownership for configuration files and writable directories. In this
case, explicitly set WWW_OWNER="" and use that to gate filesystem
setup.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21906: Correct manual gem install-dir in Rails postinst

Bundle installs to a subdirectory with the Ruby version but with patch
level = 0.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21906: Add a test for Rails packages creating multiple gems directories

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch 'zoe-translates/python-sdk-arv_copy-thread-exception'

No issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20943-trashed-role-groups' refs #20943

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

In arv-copy command, fix name error in "except" clause

In arv_copy.py, when getting or putting (as part of "arv-copy"
operation), the exception-handling clause had undefined names in
themselves.  This would not only throw a hard error at the user but also
prevent subsequent cleanup of the queues.

Fixed by binding the variable name to the exception.

Arvados-DCO-1.1-Signed-off-by: Zoë Ma <zoe.ma@curii.com>

20943: Filter groups owned by a project should be deleted

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20943: Tweak the docs a bit to discuss different trashing behaviors.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21832-installer-rds-support'

closes #21832

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20943: Update collection and group API documentation

Mainly to describe the 'trash' lifecycle of trash_at and delete_at,
but made a few other improvements along the way.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20640: Test computed permission API through controller.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Add test for specific implicit permission entry.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Add API docs for computed permissions.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Fix crash on limit_database_read.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Ensure offset=0 for computed permissions API.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Ensure count=none for computed permissions API.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Fix keyset paging for computed permissions.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Fix test for table_name override / no searchable columns.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20640: Add computed permissions API.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21832: Allows to control whether RDS should be snapshotted before deletion.

Also, changed the default to 'true' as this is more sensible for production
environments.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20943: Force delete_at = trash_at for role groups

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21832: Allows custom postgresql version config.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Allows custom backup retention period config.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Allows to customize the initial RDS storage allocation.

Defaults to 20% of the default max storage allocation.
Also, don't ignore changes in password, as they don't require an RDS recreation
like username does.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Filters out redacted output from terraform

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Skips installing local Postgresql when using external service.

Also, makes sure that the trigram extension is enabled.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Fixes variable & output parameters naming.

The user created on RDS is not the service admin user (we don't have access
to it, actually), so we'll just use its credentials for setting up Arvados.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Enables RDS creation with multiple config params.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>