Merge branch '22133-dependency-upgrades-part-deux'

refs #22133

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22133: Removes unused lodash.template & lodash.mergewith packages.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22133: Upgrades path-to-regexp where possible.

There's one package (express) that keeps asking for a vulnerable
version of path-to-regexp.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22133: Upgrades socks to get a replacement for the vulnerable ip package

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22133: Upgrades ws to address CVE-2024-37890

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '22133-dependency-upgrades'

refs #22133

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Fix race-sensitive test.

refs #2960

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22133: Upgrades google.golang.org/grpc to mitigate a potential CWE-200

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22133: Upgrades styled-components and postcss to address CVE-2023-44270

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22133: Upgrades micromatch to address CVE-2024-4067

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22133: Upgrades braces to address CVE-2024-4068

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22133: Upgrades express to address CVE-2024-43796

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '22124-keepstore-double-slash'

fixes #22124

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21702-keep-web-replace_files'

closes #21702

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Update gh action test command. Refs #21720

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22124: Reject requests with double slash, except GET //locator.

Previously we responded to "PUT //locator" with a 301 to a cleaned
path, which did not work because 301 tells clients to repeat the PUT
request as a GET.  Better to just respond 400, since this means the
client is broken or misconfigured.

There may be some clients that have been working successfully with the
301 redirect behavior because they only do GET and HEAD requests.  To
avoid breaking these, we continue to accept "GET //locator" -- but now
we just return the data instead of a redirect to "GET /locator".

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21121-cluster-activity' refs #21121

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21121: Fixed upgrading page typo

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22124: Trim trailing slashes in ARVADOS_KEEP_SERVICES env var.

Accept http://foo:12345/ as a synonym of http://foo:12345 instead of
failing requests with 400 errors later.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21702: Merge branch 'main' into 21702-keep-web-replace_files

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21702: Use Assert when subsequent trials depend on condition.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21702: Clean up formatting of RFC references.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22133: Upgrades Workbench dependencies to address security issues

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22133: Upgrades github.com/docker/docker to address CVE-2024-41110

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21121: Update documentation, some code cleanup and comments.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21720-material-ui-upgrade'

closes #21720

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: changed padding in code-snippet logs

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: fixed project test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: fixed flaky process test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: converted groups-panel-middleware-service test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21909-r-sdk-3.0'

Refs #21909.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Add Brett Smith to R SDK authors list

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21720: fixed data-explorer-middleware test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: fixed data-explorer.cy spec

* unrecognized char to "-"

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: fixed spec in data-explorer.cy.js

* removed an autofocuslistener that didnt matter because it gets covered by popover anyway

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: merge cleanup

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch 'main' into 21720-material-ui-upgrade

refs #21720

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: fixed padding in panel log card lines

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: moved search input adornment to fix occlusion with.placeholder text

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: removed unnecessary divider

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: fixed text color in data explorer

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: fixed styling in multi-panel-view

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: remobed vestigial info button

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21893-input-collections-virtual-list' into main. Closes #21893

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21720: refectored listitem icon spacing

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21893: Make linter happy

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '17074-optimize-itemsavailable' into main. Closes #17074

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21751-installer-cmk-support'

closes #21751

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21751: Fixes typo in resource naming.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '22079-pysdk-reference-bugfixes'

Refs #22079.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21893: Add separate custom column width styles for collection input table

Also fix ellipses-ing of collection link

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21751: Adds CMK access policies to compute and dispatcher roles.

When using customer-managed keys, access should be granted explicitly: the
dispatcher needs it to create instances with their EBS volume encrypted
and the compute nodes themselves need it too so that they can start the
ebs-autoscale feature.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21893: Implement virtual list for process io card input collections tab

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22126: Improve parsing of default values in PySDK reference

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22126: Improve formatting of method parameter docstrings

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22126: Improve whitespace in ArvadosAPIClient reference

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22126: Add defaults to PySDK methods reference

Resolve the issue in the earlier comment by marking parameters with no
advertised default as Optional[T] with a default value None.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22079: Improve PySDK list method reference

* Add a pointer to the iterator wrapper directly to the `list` method
  docstring.
* Accommodate the special case of the computed permissions wrapper.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22124-keepstore-put-moved'

refs #22124

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21900-groups-panel-toolbar'

closes #21900

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22124: Strip trailing slash on keepstore endpoint.

Fixes double-slash in outgoing requests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22017-instance-type-quotas'

fixes #22017

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21702: Revert double-size test case.

Bigger version uses too much memory.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21702: Test & fix COPY with depth 0 and no trailing slash on source.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21909: Add duplicate name error handling in generateApi.R

Special code for this case was added to collections_create in
de8cd4c6a56cac85dbcf7fe1fcb29abe98fe9f18. This extends the code
generation tool to add the check to all create methods where a name
conflict could occur.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Add project permission methods to generateApi.R

This gets generateApi.R to generate the methods that were added in
de8cd4c6a56cac85dbcf7fe1fcb29abe98fe9f18.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Add project properties methods to generateApi.R

This gets generateApi.R to generate the methods that were added in
de8cd4c6a56cac85dbcf7fe1fcb29abe98fe9f18.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Add project_exists method to generateApi.R

This gets generateApi.R to generate the method added in
de8cd4c6a56cac85dbcf7fe1fcb29abe98fe9f18.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Update function and parameter names for compatibility

This gets generateApi.R to generate the same names that were committed
in de8cd4c6a56cac85dbcf7fe1fcb29abe98fe9f18.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22017: Add interface assertions.

These act as a compile-time unit test for the stub driver.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22017: Rename InstanceFamily to InstanceQuotaGroup.

"Instance family" is an existing AWS term, and each quota group covers
multiple instance families.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21909: Update R SDK documentation to use R6 style

This provides a nicer presentation, with the class and all its methods
on a single page.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Fix case mismatch between function signature and @param doc

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Remove unused createDoc.R script

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Update R SDK Version

This is usually overridden during the build process anyway, but might as
well update it while I'm at it.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Add a basic build system to R SDK

The R SDK includes committed code and documentation that are generated
from other sources, mainly the discovery document and inline
documentation. Remove those and introduce a Makefile with recipes to
build them all. This will make it easier to keep the R SDK in sync with
Arvados API changes in the future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Improve R SDK recipe readability

* Use Dir.glob instead of implementing it ourselves
* Use File.basename instead of string slices
* Use system() to avoid a shell and needless output capture

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Turn autoGenAPI.R into a standalone script

This lets someone run it from source before installing the ArvadosR
package.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Add a canonical discovery document to sdk/R

The R SDK uses this to build code and documentation much like the Python
SDK does. We can share infrastructure to keep them in sync.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Remove obsolete API filtering

This code is a noop now that these APIs have been removed entirely.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Remove unused logo

Unused since 5d9edef1f13b3b9f7abff1bec7d2fda82838a8f0.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Configure Roxygen with Markdown support

We need this now that the discovery document descriptions use Markdown.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Use NULL for all R default arguments

The default values in the discovery document tend to be stringified for
the benefit of the Java SDK. This means trying to use them verbatim in
R code is likely to yield incorrect results.

Just set them all to NULL and let the API server use its own defaults.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Handle multiline descriptions in R code

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21773-keep-service-discovery'

closes #21773

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22017: Configurable instance type/family mapping.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21702: Update cache size in metrics test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21702: Fix behavior of COPY with depth 0.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21702: Use replace_files API instead of serializing writes.

Also remove reference to nonexistent RMCOL method ("rmcol" is a
cadaver command, but the WebDAV method for removing a collection is
DELETE).

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21720: fixed flaky project test again

* added cy.waitForDom() after submit button clicks

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: fixed flaky project test

* changed cy.go('back') to manually clicking the 'Home Projects' breadcrumb

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: removed redundant redirect-to test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21297-container-status' refs #21297

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch 'main' into 21297-container-status

refs #21297

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21720: removed getClipboardUrl spec made redundant by 21941

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21720: fixed file-viewer-action test

* the href for the openInNewTab action must be a legitimate address

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22017: Separate quotas for spot/demand, add missing families.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19929: Move request class to the top of PySDK reference

Since it is used by every method class, and small, documenting it first
makes better organizational sense. No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Document schemas and their resources together in PySDK reference

Now that all these classes are fully documented, outputting all the
schemas and then all the resources means there's a giant gap between
related classes. Provide nicer organization by sorting by methods,
preceding them with their related schemas. Refs #19929.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21720: fixed run-process-panel-actions test

* there is a meaningless console error at the end with navigateTo because the store doesn't exist in this test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>