21832: Allows custom backup retention period config.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Allows to customize the initial RDS storage allocation.

Defaults to 20% of the default max storage allocation.
Also, don't ignore changes in password, as they don't require an RDS recreation
like username does.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Filters out redacted output from terraform

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Skips installing local Postgresql when using external service.

Also, makes sure that the trigram extension is enabled.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Fixes variable & output parameters naming.

The user created on RDS is not the service admin user (we don't have access
to it, actually), so we'll just use its credentials for setting up Arvados.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Enables RDS creation with multiple config params.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21832: Adds 'use_rds' TF var to create additional VPC resources.

Even though an RDS instance supposedly can be set up as single-AZ,
it requires to be related to a DB Subnet Group resource, which in turn
requires at least 2 subnets from different AZs.
So, when enabling 'use_rds' this code creates a new subnet on a different
AZ from the one that private_subnet is in.
It also supports specifying a custom additional subnet id.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21894-diagnostics-dev-version-mismatch'

fixes #21894

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Fix wb2 integration typo, refs #9964

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Fix integration tests and add output_glob to wb2 API Details, refs #9964

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21894: Fix diagnostics/health version check for dev package case.

If both versions have the same major.minor.patch and different
~devTIMESTAMP suffixes, don't count that as a mismatch.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

merge 21447: closes #21447

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21815-trigrams-exclude-ids'

Closes #21815.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '9964-output-glob-acr' refs #9964

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21225-project-panel-tabs' into main. Closes #21225

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Add gray border to project tab bottom to distinguish tab area

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21762-flaky-search-test'

closes #21762

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '15397-remove-obsolete-apis'

refs #15397

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Pin gorilla/mux v1.8.0.

refs #21705

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21363-ubuntu2404-salt-installer'

Refs #21363.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21363: Prefix variables read from /etc/os-release

The immediate problem this solves is accidentally overwriting $VERSION
from local.params. It'll help prevent similar problems in the future
too.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21225: Update progress bar param in unit test

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Fix unset checked list breaking data table unit tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21363: Avoid Salt bootstrap script on Debian-based distros

The apt-based install method is simple enough that we don't need the
bootstrap script's help. This unblocks Ubuntu 24.04 support.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21225: Update wait-on dependency for security

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Allow multi select in project WF runs tab

* Adds forceMultiSelectMode to preserve existing behavior
* Consolidates negative margin styles to subToolbar wrapper element
* Wrapper element allows hiding toolbar without collapsing space
* Add subToolbar hiding when nothing selected and single select allowed
* Remove unnecessary route check now that styles are on the toolbar wrapper

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Fix cypress tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Create separate filter serializers to ensure runs don't show on project data tab

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Connect click handlers accidentally disconnected from project data tables

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Skip clipboard test in firefox

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Fix data table loading indicator if initialized loaded and empty

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Fix check for empty object

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Add styles to wrap mutually exclusive tabs and data explorer in same paper

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Move progressWrapper to data explorer for conditional styles

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Distinguish between main/sub process in renderer and rename to Worflow Run/Step

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Add project support to process progress bar and add to project run tab

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Add project workflow runs tab.

* Moves loadMissingProcessInformation to project panel run middleware
* Removes processes from data tab
* Removes processes from data tab filters
* Adds process type filter serializer for runs tab
* Removes process-related columns from data tab

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Rename project panel middleware to data middleware and separate data explorer

Also removes unnecessary dependencies on the middleware like references to
column names from other DataExplorers, shared getFilters that won't be able to
be shared in the future,

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Fix capped maxWidth preventing full width with negative margins on MPV

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Add mutually exclusive tabs to multi panel view, use for project tabs

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21225: Combine project panel id consts

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21363: Pin SALT_VERSION to the latest minor version

The current Salt bootstrap script seems to want this: starting from
3007, it expects to be able to find what it's looking for under a
`minor/` subdirectory, and the subdirectories of that all follow
`300X.Y/` format.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21363: Update Salt versions to support Ubuntu 24.04

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21762: fixed sidepanel props

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21762: tweaked callback observer

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Revert "21762: added trycatch to observer callback"

This reverts commit 4a9e5c926179b3ab8ff7231904e2db93d42149e0.

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21841-missing-vocab' refs #21841

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21841: Spell out arvados-cwl-runner instead of a-c-r

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21363-ubuntu2404-package-build'

Refs #21363.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

9964: Fix test and add secondaryFiles to test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

9964: Update committed discovery doc

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21363: Add ubuntu2404 packages

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21363: Remove python3-distutils dependencies

These are remnants from before we switched to packaging
virtualenvs. They are long out-of-date, and recent distributions like
Ubuntu 24.04 no longer package distutils.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21363: DRY up package re-download code

This gives the deb branch some of the same reliability improvements that
the rpm branch got previously.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21863-remove-cwltest-package'

Closes #21863.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch 'main' into 9964-output-glob-acr

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch 'main' into 21841-missing-vocab

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21762: added trycatch to observer callback

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21863: Install setuptools alongside cwltest

See comments for rationale. This only becomes a problem on Python 3.12+,
when new venvs stopped including setuptools by default. But I would
rather be defensive and address this now just in case, rather than have
to re-diagnose the problem in the future if it comes up again.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21863: Add missing newlines to printf strings

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21863: Run piprepo only when building a distro package

This saves a little work when we're only building one package.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21863: Stop building cwltest distro package

This was previously used to run the CWL conformance test on shell
nodes. We have an entirely different testing strategy now, so we no
longer need the package. Any users who want it can still get it from
upstream.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21863: Remove test scripts for Red Hat SCL python36 packages

We stopped building these a while ago. These test scripts are leftover
cruft.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21762: test timeouts and assertions

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

9964: Update comment

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21815: Remove UUID and hash columns from trigram indexes

This should provide more helpful search results when users search for
their own internal arbitrary IDs and improve search performance.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

9964: A few more special cases of output patterns

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21762: added window timeout to test spec

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21762: fixed window resize bug

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

9964: Handle secondaryFiles and other special cases

Sometimes we can't tell what we need ahead of time and just have to
match everything.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21765-short-dialog'

closes #21765

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

no issue #: fixed failing banner test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

9964: Output glob includes cwl.output.json

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

9964: Remove debug print

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

9964: Extract outputBinding->glob and set 'output_glob'

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

9964: Update schema revision to 20240502 for output_glob feature

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21841: Add new keys to the test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21841: Add system properties 'workflowName' and 'container'

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

fixed missing } in data-explorer.tsx

no issue #

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch 'main' into 15397-remove-obsolete-apis

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21765: standardized scrolling in all project pickers

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21765: fixed scrolling in run wf project picker

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21705-go-deps-update-all'

refs #21705

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21388-arvados-3.0-distros-docs'

Refs #21388.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21388: Note that we support RHEL-alikes ~> 8.4

Because that's the version that added Python 3.9, which we build our
Python packages against.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21364-load-more-button'

closes #21364

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21765: changed dialog height and fixed scrolling in project picker

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21388: Delist CentOS 8 support

CentOS 8 went EOL at the end of 2021: <https://www.centos.org/centos-linux-eol/>

Given CentOS' change in development direction, we are not aware of any
users interested in CentOS support, and don't anticipate any for the
foreseeable future. De-list support for it. The packages might happen to
work, but we don't support them.

Our RPM URL still contains "CentOS" in the path. Cleaning that up is a
separate infrastructure task.

List "Red Hat" as the first supported distro since it's the biggest one,
and the one people might be skimming for.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21850-banner-exception' closes #21850

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21705: Revert gorilla/mux to v1.8.0 to avoid bug in v1.8.1.

Open issue https://github.com/gorilla/mux/issues/751 (2024-02-06)
causes router to return 404 instead of 405 when the path matches but
method does not.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21388: Update arvados-server-easy supported distros list

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21388: Fill out arv-user-activity README

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21388: Fill out crunchstat-summary README

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21388: Fill out sdk/cwl/README.rst

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21388: Add rpm instructions to Python READMEs

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21388: Update deb instructions in Python READMEs

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21388: Copyedit FUSE build dependencies

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21020: Remove configuration path from Python READMEs

Let the linked documentation explain all the different options.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Add upgrade note that RVM is no longer supported

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21388: Add upgrade note about dropped distributions

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>