Merge branch '19624-priority-doc'

fixes #19624

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19926-pysdk-install-docs-fix'

Closes #19926.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19926: Remove "option 1/2" remnants from the Python SDK install docs

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '18075-max-compute-vms'

fixes #18075

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19624: Layout container request lifecycle in two columns

Provide a more readable layout. Normal full lifecycle on the left, early
end states on the right.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19926: Modernize pip install instructions

Running `python3 -m pip` instead of just plain `pip` helps ensure that
you install packages for the version of Python that you intend.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19926: Use noteboxes consistently in PySDK install instructions

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19926: Flatten structure of PySDK install instructions

The way there were "two tracks" of install and test instructions on the
page was confusing to readers. (Especially since we did not number those
options consistently.) Incorporate the test instructions into the
install instructions, so the reader only has to follow and care about
one specific method, and then they're done.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

18075: Note obsolete/deprecated config.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18075: Update AtQuota comment, check quota in Create, log at limit.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19624: Layout graph L->R, say "update" instead of "assign".

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19897-fuse-enotsup'

Closes #19897.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Use binary mode in cookbook download+upload examples

This incorporates a suggestion from review to use a binary mode in a way
that makes the recipes more robust. It's very likely that readers will
want to work with binary files at least as much as text files, and these
recipes still work for text files too for verbatim copies.

Refs #19792.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Fix typos throughout

Refs #19792.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19624: Redo diagram to show CR and container states.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19624: Redo diagram to show container states.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19792-pysdk-cookbook'

Closes #19792.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Add 'wb' as an example Collection.open mode argument

Give readers a hint that we fully support the mode argument, not just
the basic r/w/a options. Ideally they can look up the reference for full
details.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19897: Add tests for writing immutable mount objects

I originally wrote these expecting to get them to return ENOTSUP as
well. However, that doesn't happen now because of how the Operations
class calls Directory.writable() and turns False into EPERM. I'm
committing the tests since they're useful as-is, with a note that I'd
like to convert them to ENOTSUP in the future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19897: Return ENOTSUP when the user tries to make a file in a project

Before this commit, the NotImplementedError is propagating up to
catch_exceptions, which turns it into EIO. "I/O error" sounds like a
problem with the underlying systems and stresses out users. "Operation
not supported" should better communicate to the user that they're doing
something unexpected and should double-check their work.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19624: Container request state transition / lifecycle diagram.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18075: Remove tests for crunch1 Node.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19792: Improve wording of keyset_list_all first argument comment

Explain the purpose of the argument in addition to giving the reader
guardrails to help them use it correctly.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Split container request queue recipes into separate sections

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Add PySDK cookbook recipe to walk a collection

After working on the container request recipes, I realized this was a
gap in the cookbook: how do you work on a collection if you don't know
its structure? This starts to document that.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Split container request recipes into separate cookbook sections

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Split collection recipes into separate cookbook sections

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Expand explanation of vocabulary in PySDK cookbook

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Remove "none" from list of permission names

I misunderstood the API documentation. When it described "none" as a
possible permission level, I took that to mean it was a possible
permission name.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Add overview sentence to PySDK cookbook introduction

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

18075: Kill off MaxComputeVMs properly.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19993-groupby-forupdate'

fixes #19993

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19923-keep-balance-chunk'

closes #19923

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18075: Add CloudVMs.MaxInstances config, retire MaxComputeVMs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19923: Report heap and stack stats from Go runtime.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19993: Fix postgresql<12 incompatibility.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19923: Sanity check provided chunk prefix.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19923: Remove debug sleep.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19320-spot-pricing'

refs #19320

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19923: Log keep-balance memory usage.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19960-vocabulary-system-keys'

Refs #19960.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19923: Log progress while reading keepstore indexes.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19792: Correct filter for revoking permissions example

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Simplify example for modifying permissions

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Add missing words

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19320: Fix live test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19792: Add cookbook recipes for managing permissions

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Add cookbook recipe to update properties generally

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Reorganize cookbook vocabulary section into properties section

Presenting this as a section about properties gives it more room to grow
and gives more context to the vocabulary discussion.

It's okay to drop the working-with-properties anchor because it was
never merged with main.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Update sharing link recipe to handle v2 API tokens

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Revamp the Python SDK cookbook

* Organize the recipes into related sections based on what they work
  on.

* Add a preface to each recipe to explain when you might use it, give
  API background, etc.

* Write the recipes in a style that emphasizes readability with long
  variable names, lots of line breaks, and comments highlighting
  key mechanics and variations.

* Modernize SDK usage in the recipes.

* Add links to supporting documentation where available.

As much as practical, I have maintained existing anchor names, even when
I updated header names for more consistent style.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19792: Add anchors to some dedicated API methods

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19791: Remove Python SDK "Notes" section

This is now covered more helpfully, and in more detail, in the API
client overview.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19320: Deduplicate instance types in spot price request.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19320: Comment re future use of spot attr in priceKey.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19320: Disable spot price checks if configured update interval <= 0.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19320: Account for AddedScratch in spot instance cost estimates.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19923: keep-balance option to process a subset of blocks.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19960: Fix container_uuid property name for intermediate collections

container_uuid is the name documented in our API reference, and now
expected by vocabulary.go's system tags.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19960: Add container_uuid to systemTagKeys

This is set by arvados-cwl-runner, and already documented in our API
reference.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19960: Organize systemTagKeys

Note what properties go with what resource types, and why.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19320: Log instance price changes in crunch-run.txt.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19886-crunch-run-early-log-commit'

Closes #19886.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19886: Describe what component updates container logs more generically

We want to make clear that an Arvados system component does this,
without being overly committal about which component it is. "Dispatcher"
might be taken to mean the Crunch dispatcher specifically. Right now
it's crunch-run, but we don't need to commit to that level of
detail. Settle on "Crunch system" per discussion with Tom in chat.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19886: Slim down API documentation about container logs

While the API server will let you set this field to a UUID, that
behavior is already poorly supported, and on reflection we're not sure
we want to support it. Document this the way crunch-run uses it and
avoid presenting too much detail for most readers.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '19917-retry-scheduling-parameters'

Closes #19917.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19917: Synthesize scheduling parameters when retrying a container

When we retry a cancelled container, there may be any number of
container requests that want it, each with their own scheduling
parameters. Create a new set of scheduling parameters for the new
container where each parameter has the most lax setting from all the
outstanding container requests.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19886: Update API documentation notes about container request logs

The existing note was already out-of-date: crunch-run would record logs
about 30 minutes after starting the container. With recent changes,
crunch-run now records logs shortly after starting the container. Update
the note accordingly.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19886: Correct API documentation notes about container logs

The documented limitation does not exist. In fact, there's a limitation
in the API server that if you want a container's logs propagated to its
associated container request(s), you *must* pass in a portable data
hash. crunch-run consistently updates container records with a portable
data hash in the log field for this reason. Update the note to reflect
this.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19886: crunch-run records initial log with PDH

The API server will only propagate a container's log collection to
container requests when it is specified with a portable data hash. See
the top of ContainerRequest#update_collections.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19886: Tighten test regexps for better validation

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19886: DRY up test code for better readability

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '18693-dedup-permissions'

fixes #18693

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19320: Fix AWS InstanceStatus and SpotPrice API usage.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19896-ldap-tls-downgrade'

fixes #19896

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19320: Fix env var leak in test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18693: Use row locking only if enabled in config.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19896: Mention TLS version error message in config doc.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19896: Use StartTLS + MinTLSVersion regardless of Insecure flag.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19890-id-bigint'

fixes #19890

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19320: Use AWS spot price data to calculate container cost.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19890: Note slow upgrade due to schema migration.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19597-multipart-request'

fixes #19597

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19597: Comment explicit ParseForm usage.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19895-google-api-python-client-2'

Closes #19895.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19886: Save log collection when crunch-run starts a container

This allows users to see information about the node where the container
started, including through Workbench 2.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19886: Refine crunch-run output collection tests

These tests are currently not working as designed because the API call
they're looking for is in a different API client. They happen to be
passing because they never assert they actually found the collection
they're looking for. Restructure the search loop to fix both those
problems.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19886: Bugfix UUID generation in crunch-run tests

The previous code was generating UUIDs with a 30-character last part.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '19894-pg-access'

fixes #19894

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19894: Copyedit the 2.5.0 PostgreSQL upgrade note

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19894: Update documentation re: dispatcher connecting to postgresql.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19895: Upgrade google-api-python-client

Version 2.0 tries to load all discovery documents from a local cache. It
added a new argument to discovery.build(static_discovery=False) to
retrieve the discovery document from the network.

Version 2.1 improves backwards compatibility by having static_discovery
default to False when you pass an explicit discoveryServiceUrl to
discovery.build(). We always do this (see
arvados.api.normalize_api_kwargs), so we can upgrade to version 2.1
without making any changes to our own SDK.

Doing so is just good hygiene, and makes life easier for users who want
to build projects that use both Google services and Arvados.

Version 2.1 was released on 2021-03-31, so this new version requirement
should be easy enough for most users to satisfy.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19896: Configurable minimum TLS version for LDAP connection.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19890: Use 64 bit ints for id columns.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Update container state table headers

"Sgnificance" was a typo, and the immediate problem I wanted to
fix. "Description" is what we usually use and works fine here, so use
that.

I expanded "State" to "State value" to try to help clarify this is the
actual value in the data.

No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Update version numbers

refs #19647

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19597: Parse multipart/form-data request body.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18693: Add row locking.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '19844-paging' refs #19844

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18693: Remove existing redundant permission links from db.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>