Merge branch 'master' into 9998-unsigned_manifest

Conflicts:
services/api/test/functional/arvados/v1/collections_controller_test.rb

9998: Tidy up, add test.

Merge branch '9897-log-block-prefetch-worker-exceptions' closes #9897

Merge branch '10473-keepstore-logrus' closes #10473

Merge branch '10498-arvdocker-project-uuid' refs #10498

10498: Handle project_uuid of None in arv_docker_get_image.

9897: Changes as per discussion in #9897.

Arvbox sets PATH, GEM_HOME and GEM_PATH in common.sh.  refs #10410

10473: Tune up text-format logging.

10473: Use fixed-point timestamps and more human-readable field ordering, hide "incoming request" if level<debug.

10473: Fixed-width timestamps.

10473: Log requests/responses in JSON format by default; add config option for text format.

Merge branch '10484-keepstore-stats' refs #10484

10484: Remove unused volumeStats.

10484: Test s3 bucket stats.

10484: Tidy up stats-tracking code into a bucket proxy type.

10484: Track non-s3 errors by Go type.

10484: Track s3 errors by response code.

10484: Report volume IO stats for S3 volumes.

10484: Serve MemStats at /debug.json instead of /status.json.

Merge branch '10499-cwl-crunch2-docs' refs #10499

Merge branch '10470-slurm-error'

refs #10470

10470: Recognize more slurm error messages.

Example from slurm 14.03.9:

srun: error: _server_read: fd 12 got error or unexpected eof reading header
srun: error: step_launch_notify_io_failure: aborting, io error with slurmstepd on node 0
srun: Job step aborted: Waiting up to 2 seconds for job step to finish.

Merge branch '10556-get_anonymous_user_token.rb-multiple-similar-records'

refs #10556

Merge branch '10498-register-with-chosen-api' closes #10498

10498: Check error message in "incompatible APIs" test.

10498: Tweak var names and help messages.

Update documentation about get_anonymous_user_token.rb to prevent duplicates

refs #10556

Merge branch '10529-cwl-exception-stuck' closes #10529

refs #10293
Merge branch '10293-container-request-output-uuid'

Merge branch 'master' into 10293-container-request-output-uuid

10293: add scheduling_parameters to containers controller

Permit use_existing in create-and-commit container requests.  refs #10216

10498: --create-workflow and --create-template do the same thing, depending on --api choice.

Also:

* --update-workflow works for pipeline templates, too.

* --update-workflow establishes --api=jobs or --api=containers
  depending on the UUID. (If this conflicts with an explicit --api
  argument, that is an error.)

* If no --project-uuid is given, the user's UUID is not passed
  explicitly with create/update requests. The API will default to the
  user's UUID or (when updating an existing object) leaving the
  existing object's owner unchanged.

Merge branch 'master' into 10293-container-request-output-uuid

closes #10290
Merge branch '10290-container-partitions'

10529: Improve handling errors raised when collecting outputs.  If state
polling thread crashes, terminate executor.

10290: scheduling_parameters added to container_requests controller.

Merge branch 'master' into 10290-container-partitions

Merge branch '10290-container-partitions' of git.curoverse.com:arvados into 10290-container-partitions

Merge branch '10410-arvbox-ruby' refs #10410

closes #10435
Merge branch '10435-cwl-output-tags'

Merge master to output-tags branch and resolve conflict

10410: Add -o Acquire::Retries and combine package installation into single layer.
Add some packaging and arvbox-related files to .gitignore.

Fix typos.

refs #10346

10293: add output and log uuids to containter_request search index.

Merge branch 'master' into 10293-container-request-output-uuid

10293: added log_uuid to container_requests

Merge branch '10346-rearrange-api-docs' closes #10346

10346: Fix formatting on container_request page.

Merge branch '10534-go-systemd-sdnotify-v14' of https://github.com/wtsi-hgi/arvados

refs #10534

9897: Logs errors encountered by block prefetch workers.

Merge branch 'master' into 10293-container-request-output-uuid

Conflicts:
services/api/app/models/container_request.rb
services/api/db/structure.sql

update signature of SdNotify for go-systemd v14

closes #10290
Merge branch '10290-container-partitions'

10290: Add scheduling_parameters map to containers and container_requests, and move partitions array out of runtime_constraints into this.

10290: update test assertions

10346: Add session establishment diagram.  Clarify role of block signatures.
Fix typo on resource pages.

Add num_tries to adding tags and tests for container API

Merge branch '10517-consistent-select' closes #10517

Fixes API server to return default columns for collections

Prior to this fix, if a request has a query param `select=`
(as opposed to just omitting `select` entirely), the API
server would return a full set of columns rather than
enforcing its own defaults.

Fixes #10517, assuming this was a bug and not a feature.

10517: Test edge cases in "deselect manifest_text by default" feature.

change keep-balance to request unsigned_manifest_text from API server

add support for unsigned manifests to SizedDigests() in Go SDK

always omit unsigned_manifest_text when showing collection not in an index

implement unsigned_manifest_text column

3486: Fix ignored "required: false" in pipeline template. refs #3486 refs #10470

10290: Add scheduling_parameters map to containers and container_requests, and move partitions array out of runtime_constraints into this.

10346: Add slides about Keep and Crunch.

10410: Build Ruby from source instead using Debian package in order to install a more recent Ruby.

10499: Warn about user guide sections that rely on crunch1.

10346: Fix cross references

10293: add output_uuid to container_request and set it during finalize.

10346: Updates from review comments.

Fix typo and modify test

10346: Document manifest format in more detail.  Document token signatures.  Add Arvados_permissions.svg

Change output_tags to an attribute instead of kwarg, modify tests

closes #10310
Merge branch '10310-crunch2-workbench'

10310: invoke index and show actions only when they are not blacklisted by the api server.

10310: Check discovery doc when deciding ArvadosBase.creatable?.

Merge branch '10460-cwl-staging-fix' refs #10460

10346: Edits from review WIP.

10460: Add check for 'dockerOutputDirectory' and raise UnsupportedError for now.

Merge branch '10467-client-disconnect' refs #10467

10460: Want to propagate size fields to output.

10467: Merge branch 'master' into 10467-client-disconnect

10460: Don't use adjustFileObjs to set secondaryFiles because it traverses secondaryFiles.

Add --output-tags to arvados-cwl-runner and tests

10467: Use context.Background() for tests and background processes.

10460: Add implied secondaryFiles based on input parameter spec.

10466: Report missing 'location' in File object as workflow error.

10460: Fix initialWorkDir file staging broken by change in visit() behavior for directories.

Merge branch '10468-blob-storage-timeouts' closes #10468

Merge branch '10460-cwl-directory-literal' closes #10460

10460: Style tweak make_output_collection

Run keep-exercise tests. No issue #

keep-exercise: limit PRNG usage to 512KiB per write. No issue #

10468: Use consts for defaults.

Package keep-exercise.

No issue #

Update keep-exercise to new SDK. No issue #