Merge branch '21909-r-sdk-3.0'

Refs #21909.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Add Brett Smith to R SDK authors list

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21893-input-collections-virtual-list' into main. Closes #21893

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21893: Make linter happy

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '17074-optimize-itemsavailable' into main. Closes #17074

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21751-installer-cmk-support'

closes #21751

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21751: Fixes typo in resource naming.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '22079-pysdk-reference-bugfixes'

Refs #22079.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21893: Add separate custom column width styles for collection input table

Also fix ellipses-ing of collection link

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21751: Adds CMK access policies to compute and dispatcher roles.

When using customer-managed keys, access should be granted explicitly: the
dispatcher needs it to create instances with their EBS volume encrypted
and the compute nodes themselves need it too so that they can start the
ebs-autoscale feature.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21893: Implement virtual list for process io card input collections tab

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22126: Improve parsing of default values in PySDK reference

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22126: Improve formatting of method parameter docstrings

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22126: Improve whitespace in ArvadosAPIClient reference

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22126: Add defaults to PySDK methods reference

Resolve the issue in the earlier comment by marking parameters with no
advertised default as Optional[T] with a default value None.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22079: Improve PySDK list method reference

* Add a pointer to the iterator wrapper directly to the `list` method
  docstring.
* Accommodate the special case of the computed permissions wrapper.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22124-keepstore-put-moved'

refs #22124

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21900-groups-panel-toolbar'

closes #21900

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22124: Strip trailing slash on keepstore endpoint.

Fixes double-slash in outgoing requests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22017-instance-type-quotas'

fixes #22017

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21909: Add duplicate name error handling in generateApi.R

Special code for this case was added to collections_create in
de8cd4c6a56cac85dbcf7fe1fcb29abe98fe9f18. This extends the code
generation tool to add the check to all create methods where a name
conflict could occur.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Add project permission methods to generateApi.R

This gets generateApi.R to generate the methods that were added in
de8cd4c6a56cac85dbcf7fe1fcb29abe98fe9f18.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Add project properties methods to generateApi.R

This gets generateApi.R to generate the methods that were added in
de8cd4c6a56cac85dbcf7fe1fcb29abe98fe9f18.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Add project_exists method to generateApi.R

This gets generateApi.R to generate the method added in
de8cd4c6a56cac85dbcf7fe1fcb29abe98fe9f18.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Update function and parameter names for compatibility

This gets generateApi.R to generate the same names that were committed
in de8cd4c6a56cac85dbcf7fe1fcb29abe98fe9f18.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22017: Add interface assertions.

These act as a compile-time unit test for the stub driver.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22017: Rename InstanceFamily to InstanceQuotaGroup.

"Instance family" is an existing AWS term, and each quota group covers
multiple instance families.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21909: Update R SDK documentation to use R6 style

This provides a nicer presentation, with the class and all its methods
on a single page.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Fix case mismatch between function signature and @param doc

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Remove unused createDoc.R script

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Update R SDK Version

This is usually overridden during the build process anyway, but might as
well update it while I'm at it.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Add a basic build system to R SDK

The R SDK includes committed code and documentation that are generated
from other sources, mainly the discovery document and inline
documentation. Remove those and introduce a Makefile with recipes to
build them all. This will make it easier to keep the R SDK in sync with
Arvados API changes in the future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Improve R SDK recipe readability

* Use Dir.glob instead of implementing it ourselves
* Use File.basename instead of string slices
* Use system() to avoid a shell and needless output capture

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Turn autoGenAPI.R into a standalone script

This lets someone run it from source before installing the ArvadosR
package.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Add a canonical discovery document to sdk/R

The R SDK uses this to build code and documentation much like the Python
SDK does. We can share infrastructure to keep them in sync.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Remove obsolete API filtering

This code is a noop now that these APIs have been removed entirely.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21909: Remove unused logo

Unused since 5d9edef1f13b3b9f7abff1bec7d2fda82838a8f0.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Configure Roxygen with Markdown support

We need this now that the discovery document descriptions use Markdown.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Use NULL for all R default arguments

The default values in the discovery document tend to be stringified for
the benefit of the Java SDK. This means trying to use them verbatim in
R code is likely to yield incorrect results.

Just set them all to NULL and let the API server use its own defaults.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Handle multiline descriptions in R code

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21773-keep-service-discovery'

closes #21773

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22017: Configurable instance type/family mapping.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21297-container-status' refs #21297

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch 'main' into 21297-container-status

refs #21297

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

22017: Separate quotas for spot/demand, add missing families.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19929: Move request class to the top of PySDK reference

Since it is used by every method class, and small, documenting it first
makes better organizational sense. No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Document schemas and their resources together in PySDK reference

Now that all these classes are fully documented, outputting all the
schemas and then all the resources means there's a giant gap between
related classes. Provide nicer organization by sorting by methods,
preceding them with their related schemas. Refs #19929.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '19929-fill-discovery-document'

Refs #19929.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22073-salt-v3006-downgrade'

closes #22073

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22073: Requires salt v3006 instead of v3006 to avoid recursive requisite error.

This change avoids getting the problem mentioned in
https://github.com/saltstack/salt/issues/65966 -- that seems will be fixed in
salt version 3008.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21773: Wait a bit longer for random delays to appear random enough.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19929: Remove include_old_versions parameter of collections.get

This parameter was accidentally added to collections.show years ago in
b3d5254ce24ca82904b13d61012b2d8d676a30d8,
but we only recently started advertising if for collections.get in
e49ab1fa2bc83ddb6a3ad3ef6ca4b16391a72094.

It was never supposed to be here and was never advertised for
collections.get in a released version or in our API
documentation. Just remove it.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22017: Comment test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22017: Test pool response to instance family capacity errors.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17074: Fix project cypress test to account for separate count query

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

19929: Document that container_requests.filters is not implemented

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Improve groups.contents discovery document details

* Add missing parameters.
* Update the `uuid` description to account for the relationship
  with those parameters.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Remove long-gone List properties from the discovery document

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Clarify some wording in discovery document descriptions

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Fix formatting of bulleted list

Don't indent so much it can become a code block.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22017: VcpuLimitExceeded applies to instance family, not all types.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17074: Update DE middleware tests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

22070: Pin google-cloud-env Gem for Ruby 2.7 compatibility

Refs #22070.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Add descriptions to all discovery document schemas and properties

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Remove discovery2pydoc pre-Py3.8 import

Now that we require Python 3.8, this condition is a noop.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Improve replace_files description in discovery document

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Correct type of ComputedPermissions.perm_level in discovery document

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929/15397: Remove documentation for removed `writable_by` attribute

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Add descriptions to all discovery document methods and parameters

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929/15397: Remove unused repo_name code

This code no longer does anything after removing repositories from the
API.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19929: Document body parameters in arvados.api_resources

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

15397: Update list of deprecated resources

Namely, there are none as of Arvados 3.0. The code is still good though,
so we can leave this functionality in place for the future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21901: go fmt fixtures

Refs #21901.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

17074: Add REQUEST_COUNT state machine in data explorer

* Enables DE updates to not block waiting for itemsAvailable
* Prevents itemsAvailable race by checking countRequestState

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Add remaining requestCount implementations

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Add requestCount to data explorer middleware, implement for shared-with-me

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Various DE middleware cleanup

* Add missing loading indicator
* Add missing checks to prevent loading indicator on background
* Add types to getParams methods
* Prefer using bound dataexplorer actions

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Prevent group details panel background refreshes from triggering loading

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Add type to api client authorization getParams

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Refactor / cleanup shared with me middleware

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Check user panel uuid undefined before loading

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Cleanup and refactor public favorites middleware

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Refactor and cleanup favorites panel middleware

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Refactor and cleanup collections content address middleware

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Add type to data explorer meta to satisfy SET_ITEMS

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Add data explorer pagination loading indicator

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Add loading status flag to data explorer state

Also sets the flag when appropriate

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Reject DE updates if DE is pending

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Default dataexplorer criteriachanged to true

This flag is only set or checked by search, so setting this default allows
other data explorers to take advantage of this flag being set to false during
page changes

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Cleanup and refactor trash middleware

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Add missing side panel activations on groups panel load

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Refactor group details panel and fix passing limit to secondary requests

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Organize groups panel service

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Cleanup process middleware service

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Refactor and simplify favorites middleware.

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Simplify public favorites middleware, fix broken paging

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

17074: Change ListResults itemsAvailable to optinal

Also adds SET_ITEMS_AVAILABLE

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21901-file-log-throttling'

Refs #21901.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22052-container-columns-excluded-fulltext'

Refs #22052.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Fix 'darkOrange' missing from theme colors, refs #21413

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21413-retried-badge' refs #21413

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>