19320: Fix live test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19320: Deduplicate instance types in spot price request.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19320: Comment re future use of spot attr in priceKey.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19320: Disable spot price checks if configured update interval <= 0.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19320: Account for AddedScratch in spot instance cost estimates.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19320: Log instance price changes in crunch-run.txt.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19320: Fix AWS InstanceStatus and SpotPrice API usage.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19320: Fix env var leak in test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19320: Use AWS spot price data to calculate container cost.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Update container state table headers

"Sgnificance" was a typo, and the immediate problem I wanted to
fix. "Description" is what we usually use and works fine here, so use
that.

I expanded "State" to "State value" to try to help clarify this is the
actual value in the data.

No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Update version numbers

refs #19647

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '19844-paging' refs #19844

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '19880-wb1-pw-login-fix' refs #19880

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19880: Fix tests by restoring test hook

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19880: Fix tests

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19880: Password based login fix

Now sends user to wb1 front page instead of controller login endpoint
that returns an error.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Add missing test file refs #19688

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Test needs to ignore varying "acrContainerImage" field

refs #19688

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '19704-aneta-r-sdk' refs #19704

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '19872-mnt-cache-limits' refs #19872

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19704: Fix R SDK documentation build.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19872: Fix call to setrlimit

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19872: Fix typo

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19872: Use fewer file handles by default, but increase the limit in arv-mount

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Don't record varying git data for copy_deps test

refs #19688

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19704: Update call signature of test fake.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19847-cwl-disk-cache-size' refs #19847

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Update copy_deps test, refs #19688

It now creates an additional collection containing the workflow text,
the test needed to be updated to reflect that.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19847: Update test for new API default disk cache behavior.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19872: Add a timeout to wait()

Add a timeout when waiting for a cache slot to avoid the possibility
of waiting forever on wait().

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19872: Set max_slots lower because mmap uses another FD

- Reduce max slots to 3/8 max fds instead of 1/2 because mmap() uses a
second file descriptor, and we keep the original file descriptor open
for flock()

- Rework how cache slots are allocated to try evicting things _before_
allocating a new cache slot, so the cache should be somewhat better
behaved about staying within its configured limits.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '19709-boot-db-migrate'

closes #19709

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19847: Let server apply default disk cache size.

Use disk cache when DefaultKeepCacheRAM==0 (instead of
DefaultKeepCacheDisk>0).

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19847: Default to disk cache size = RAM size for all containers.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19878-rails-html-sanitizer-upgrade'. Closes #19878

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

19878: Upgrades rails-html-sanitizer on RailsAPI & Workbench.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '19877-loofah-upgrade'. Closes #19877

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

19877: Upgrades loofah gem on RailsAPI & Woekbench

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

19709: Warn, not eror, on unexpected files in db/migrate/.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19709: Test schema_migrations vs. db/migrate/*.rb.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19840-docker-port-number'

fixes #19840

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Update resource requirements in test cases.

New disk cache defaults to 8 GiB, which does not necessarily fit in
/tmp on a dev/test machine (mine has a 4 GiB tmpfs).

refs #19847

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19709: Explain design in comments. Improve migration filename check.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19844: Get multiple pages of child CRs if necessary.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19844: Use 127.0.0.1 instead of localhost for test servers.

Otherwise, depending on host config, nginx futilely tries ::1 first.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19840: Cleanup link added during test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19840: Test listing saved images with names containing port numbers.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19840: Fix image name confusion when specified with explicit :443.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19709: Apply pending rails migrations at service start/restart.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19862-nokogiri-upgrade'. Closes #19862

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

19862: Fix RandomUUID length.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19862: Upgrades nokogiri and related gem on RailsAPI and Workbench.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

19791: Fix broken link to old PySDK examples page

No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '19686-threadsafe-api-default'

Closes #19686.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19686: Specify ThreadSafeApiCache API version throughout

This avoids logging a warning now that ThreadSafeApiCache accepts a
version argument just like other API client constructors.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19686: Fix test scaffolding after API changes

Without clearing arv-put's API client this way, multiple calls to main()
reuse the same, pre-patch Keep object from ThreadSafeApiCache, so calls
don't get recorded as intended.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19686: Add tests for new Arvados client API

This commit ensures all public-facing functions have basic tests for
good inputs, as well as known-bad argument combinations (if any). This
includes testing functions like api_from_config that were previously
tested implicitly by other tests, but did not have their own dedicated
tests.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19686: api constructor returns ThreadSafeApiCache

This is an API-compatible wrapper object that provides thread
safety. Returning this from api() helps keep users out of
trouble.

The changes to ThreadSafeApiCache are required to keep it API-compatible
with the original and keep tests passing. Assignments to the request_id
attribute need to be used for all future requests. It's a little unclear
if this is an intended API or just test scaffolding, but it's not too
difficult to keep working so I just did that.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19686: Introduce low-level api_client constructor

When api() returns a ThreadSafeApiCache, we still want to provide a
mechanism to get a plain Resource object. The api_client() function is
that mechanism. It *just* builds the Resource object as api() did
before.

normalize_api_kwargs() takes the arguments passed to api() and turns
them into keyword arguments for api_client(). api_config_to_kwargs()
takes a configuration mapping nand turns them into keyword arguments for
api_client(). Both of these are small APIs, just returning one
dictionary from another.

With this reorganization, api(), api_from_config(), and
ThreadSafeApiClient() can all have simpler implementations.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19791: Remove duplicate word

No issue #

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19847: Fix tests

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19847: Change disk cache size heuristic

Now sets disk cache to (2 GB <= the size of the RAM request <= 32 GiB)

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19847: crunch-run should provide --ram-cache explicitly

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '19791-python-api-overview'

Closes #19791.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19847: Fix KeepCacheTypeRequirement

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19791: Clarify the background discussion for using keyset_list_all

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19791: Add a note explaining the page's intended scope

I wrote a note to this effect during the branch review, and I hope
putting it here can help guide future authors (possibly including future
me).

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19791: Expand Python SDK examples into API client overview

This change takes the skeleton of the existing examples page and expands
it into a fuller overview of the API client provided by the Python
SDK. It provides more explanation of how the client works; how it
corresponds to the Arvados API; more concrete examples of real tasks you
might actually want to do with the client; and a few different examples
to demonstrate how you might use different client code patterns for
different situations.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19847: Add calculation for choosing keep disk cache size.

Add KeepCacheTypeRequirement to control which cache to use, to
facilitate performance comparison.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '19513-create-role-admin-only'

closes #19513

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Fix broken documentation link refs #19215

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '19215-installer' refs #19215

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19215: Adjusts the documentation to reflect recent changes.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

19215: Properly outputs LE's secret access key.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

19215: Fixes one remaining IP related variable.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

19215: Adds private subnet & NAT gateway for compute nodes.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

19513: Rename flag to CanCreateRoleGroups, add test case.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '18842-arv-mount-disk-config' refs #18842

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19215: Add -o pipefail to installer.sh

This avoids having "| tee" suppress errors that should have caused the
script to stop.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18842: One more refactor

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18842: Need to call ready.set() on base cases

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18842: Clean up keep cache set logic a little more

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18842: Clean up keep cache set() a little bit

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19215: Fix *_INT_IP defaults and Terraform CLI install text.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19704: Add readArvFile to README

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Get the README to render better

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

arvbox changes: yank Composer.  Add link to documentation.

Also set locale.

no issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Set up ruby sdk, no issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19704: Merge contributed updates to R SDK

* Add roxygen documentation
* Add readArvFile() function
* Add files via upload
* New README
* Add parameter relativePath in getCollectionContent()

Contributed by Aneta Stanczyk <aneta.stanczyk@contractors.roche.com>

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19215: Move the note about installing Terraform CLI

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19215: A few tweaks about setting up compute image.

Make packer script create a log file.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19215: More documentation details

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19215: Polishing install process

* Coordinate terraform using installer.sh
* Doc updates (WIP)

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19215: Adds region_name as output.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

When comparing manifest_text, strip signatures

no issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '19699-cwl-dl-docs' refs #19699

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19699: Update from review comments

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18842: Add a couple of error handling tests

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18842: Turn disk write errors into KeepCacheError

* DiskCacheSlot properly keeps track of the file handle now
* Failure to write disk block to cache will attempt to shrink cache
and try again, if it still fails, turns into KeepCacheError
* init_cache writes a test block to check for working cache

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19215: Adds hardcoded deploy_user output set to "admin".

Debian AMIs have their default non-root user set to "admin", so admins will
need to set up the local.params DEPLOY_USER var accordingly.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>