Merge master to output-tags branch and resolve conflict

closes #10290
Merge branch '10290-container-partitions'

10290: Add scheduling_parameters map to containers and container_requests, and move partitions array out of runtime_constraints into this.

Add num_tries to adding tags and tests for container API

Merge branch '10517-consistent-select' closes #10517

Fixes API server to return default columns for collections

Prior to this fix, if a request has a query param `select=`
(as opposed to just omitting `select` entirely), the API
server would return a full set of columns rather than
enforcing its own defaults.

Fixes #10517, assuming this was a bug and not a feature.

10517: Test edge cases in "deselect manifest_text by default" feature.

3486: Fix ignored "required: false" in pipeline template. refs #3486 refs #10470

Fix typo and modify test

Change output_tags to an attribute instead of kwarg, modify tests

closes #10310
Merge branch '10310-crunch2-workbench'

10310: invoke index and show actions only when they are not blacklisted by the api server.

10310: Check discovery doc when deciding ArvadosBase.creatable?.

Merge branch '10460-cwl-staging-fix' refs #10460

10460: Add check for 'dockerOutputDirectory' and raise UnsupportedError for now.

Merge branch '10467-client-disconnect' refs #10467

10460: Want to propagate size fields to output.

10467: Merge branch 'master' into 10467-client-disconnect

10460: Don't use adjustFileObjs to set secondaryFiles because it traverses secondaryFiles.

Add --output-tags to arvados-cwl-runner and tests

10467: Use context.Background() for tests and background processes.

10460: Add implied secondaryFiles based on input parameter spec.

10466: Report missing 'location' in File object as workflow error.

10460: Fix initialWorkDir file staging broken by change in visit() behavior for directories.

Merge branch '10468-blob-storage-timeouts' closes #10468

Merge branch '10460-cwl-directory-literal' closes #10460

10460: Style tweak make_output_collection

Run keep-exercise tests. No issue #

keep-exercise: limit PRNG usage to 512KiB per write. No issue #

10468: Use consts for defaults.

Package keep-exercise.

No issue #

Update keep-exercise to new SDK. No issue #

10467: Check for Go 1.7.

10467: Update keep-exercise to new SDK.

10467: Interrupt Compare operation if caller disconnects.

10467: Use ErrClientDisconnect. Convert type assertion panic to 500 error.

10467: Fix context error not propagated.

10467: Fix ctx not propagated.

10467: Fix context usage: ensure cancel always gets called.

10467: Tidy up s3 early-cancel.

10467: Use context instead of http.CloseNotifier to interrupt buffer waits.

10467: Fix panic: cannot call CloseNotify() after ServeHTTP finishes.

10467: Abort S3 and release buffer if caller disconnects during S3 PUT request.

10467: Move http request context setup out to func.

10467: Return "context done" error instead of 404 if client hangs up during GET.

10467: Add Debug flag to config.

10467: Abort S3 request and release buffer if caller disconnects while server is waiting for S3.

10468: Add RequestTimeout to Azure volume config.

10468: Use long S3 timeouts by default, instead of waiting forever.

10468: Add ConnectTimeout and ReadTimeout configs for S3 volumes.

10460: Update cwltool dependency.

Merge branch '10459-cleanup-node-dns' refs #10459

10459: Tidy up some verbose code.

10459: Remove old IP from DNS when a node changes its IP or hostname.

10460: Support for file and directory literals when constructing output
collection.  File locations in final collection reference final output
collection and not intermediate collections.

Merge branch '10461-cwl-keepdocker' refs #10461

Merge branch '9849-cwl-efficient-log-scan' refs #9849

Merge branch '9849-cwl-docker-lookup' refs #9849

10461: Remove arv-keepdocker pull from test_with_arvbox.sh.  Only install
arvados-cwl-runner in 'dev' configuration.

10461: Add test for fetching arvados_jobs image.

Check exit code before rethrowing error from catching SystemExit from
keepdocker.main.  no issue #

Merge branch '10224-efficient-event-poll-startup' refs #10224

10224: Workaround Firefox failure to parse localized dates in metric locales.

10224: Update tests to expect event_type="delete".

10224: Choose a recent-event threshold without querying the entire event history.

10224: Change event_type to "delete" to match HTTP verb and Python SDK code.

9849: Provide stub log to be parsed.

Use --net=host when running jobs inside arvbox to work around Docker-in-Docker
networking issues. no issue #

9849: Use one regex instead of 3 when scanning log.

9849: Cache docker lookup.

Merge branch '10448-cwl-runner-disable-reuse' closes #10448

10448: Tests include enable_reuse flag and that --disable-reuse is passed to
inner cwl-runner job or container.

10448: Pass through enable_reuse flag to runner.

Fix git log to get last log for sdk/cwl or sdk/python only, not repository head refs #10438

refs #10231
Merge branch '10231-keep-cache-runtime-constraints'

10231: validate_runtime_constraints should occur before set_container filter.

closes #10231
Merge branch '10231-keep-cache-runtime-constraints'

refs #10028
Merge branch '10028-api-contents-perf'

10028: when an "is_a" filter is used while fetching contents, do not search in all "other" types.

Merge branch '10343-dockercleaner-config' refs #10343

10343: Merge branch 'master' into 10343-dockercleaner-config

10343: Add comment about unwieldy ExecStart command.

Compute correct arvados-cwl-runner version, refs #10194

10231: add keep_cache_ram to doc

Merge branch 'master' into 10231-keep-cache-runtime-constraints

tag arvados/arvbox-base with latest so that FROM arvados/arvbox-base:latest works. refs #10025

Merge branch '10315-new-arv-put-performance'
Closes #10315

10343: Update postinst script to run on Red Hat systems, and accommodate Python33 Software Collections.

10315: Merge branch 'master' into 10315-new-arv-put-performance

10315: Moved conditional on pending write size checking

10343: Improve log message.

Explicitly list all root-level directories in this repository in the
COPYING file.

No issue #

10315: Update pending write size count just before packing small blocks to see if there really are enough to fill a full one.

10315: Added back the BlockManager's put threads lazy start, but with a specific lock, so it can be called from a @synchronized method.

10343: Update arvados-docker-cleaner install docs to use packaged systemd unit file.

10343: Allow running without config file, if -config arg is not given.

Pin the python-daemon backport for centos7, newer versions have
additional dependencies.

No issue #

Merge branch '10008-check-token-exp-on-open' refs #10008

10008: Comment to explain known deficiencies.

10315: Moved the BlockManager's put threads lazy loading to __init__() to avoid locking issues when calling commit_bufferblock() fropm within an already @synchronized method.