Merge branch 'master' into 9369-arv-cwl-docs

Merge branch '9570-cwl-runner-fixes' closes #9570 (again)

9369: Copyedits throughout the CWL documentation.

9369: Add note about Javascript eval timeout.

9570: Raise exception on workflow failure.

9369: bwa-mem-input-local hashbang uses cwltool.

9570: Use special path mapper for staging files to output dir.

9570: Call normalizeFilesDirs to make sure basename is there.

9570: Just add keep: to input keep locators in cwl-runner.

9570: Adjust Directory objects, too.

9570: Remove spurious print statement.

9570: Bump cwltool dependency

9570: Update cwl-runner for latest cwltool.  Ensure use_container,
tmpdir_prefix and on_error are set.

Merge branch 'fix-python-sdk-mac' of https://github.com/adambom/arvados

No issue #

Monkey patch socket constants on apple only

Remove spurious print introduced in 6884eed, refs #9570

9369: Add section about Docker.  Change cluster references to qr1hi.  Fix path to use /home/example.

9369: Update CLI install documentation to include arvados-cwl-runner (& arvados-python-client)

Patch socket configuration for Apple systems

9369: Update tutorial to CWL v1.0

Merge branch '9459-test_with_arvbox_tweaks'

refs #9459

9459: added test_in_arvbox.sh and arvbox the docker tag parameter.

refs #9459

Merge branch '9567-keep-web-session-test'

refs #9567

9567: Use longer timeouts for keep-web download tests.

9567: Print log messages from keep et al. as they appear, even in jenkins where stdout is not a tty.

Fix tests. refs #9570

Merge branch '9486-retry-instance-limit-exceeded' closes #9486

Merge branch '9570-cwl-v1.0' closes #9570

9570: Set docker_outdir consistently.

9570: Update version pin and add reminder to setup.py to do it in the future.

9570: Fix secondaryFile staging to ensure that all files are in the same
collection.

9570: Fix for Pathmapper API change.  Most tests pass or exit unsupported
feature.

9570: Support Directory and file literal features.  Support
success/temporary/permanent exit codes.

9369: Copyedits throughout the CWL docs.

9570: Pass tests except related to directory features

9570: CWL v1.0 support wip

9570: Add support to crunchrunner for redirecting stderr to support CWL 1.0.

9567: Avoid ruamel.yaml >0.11.11. refs #9567

Merge branch '9456-less-clear-trash'

closes #9456

9456: Do not clear trash lists between runs when the list of keep services has not changed.

Merge branch '9528-slurm-parsable'

closes #9528

9528: Drop sbatch --parsable flag. It fails in older versions of slurm,
and we don't need to parse the output anyway.

Revert "Bump cwltool dependency. Previously pinned version was broken."

This reverts commit d8900c1b1410b97ad24aba69d9f8fa1f042afc90.

No issue #

Bump cwltool dependency. Previously pinned version was broken.

cwltool==1.0.20160630171631 depends on
schema-salad==1.12.20160610104117, which contains an errant .py file
with syntax errors. Installing with pip emits an error message and
succeeds. Installing as an fpm->deb package emits the same error
message and fails.

Linking and byte-compiling packages for runtime python2.7...
  File "/usr/lib/python2.7/dist-packages/schema_salad/ref_resolver_BACKUP_28804.py", line 222
      <<<<<<< 973dceb3aeef33920968fa257c7b04885a3a716d
           ^
           SyntaxError: invalid syntax

No issue #

Merge branch '9542-websocket-queries'

refs #9542

9542: Avoid retrieving huge result sets from postgres.

Respect running_job_log_records_to_fetch in JobsController#logs.

Fixes flaky test
WebsocketTest#test_test_running_job_with_too_many_previous_log_records
(see https://ci.curoverse.com/job/arvados-api-server/3092/consoleText)

No issue #

8016: Rename Poll to PollPeriod. Amends c63c699aa9948f6a672536ba08e664471fb0d654.

refs #8016

Merge branch '8016-crunchrun-crunchstat'

closes #8016

closes #9498
Merge branch '9498-containers-in-project-tab'

9498: show top-level container requests in project#Pipelines_and_processes tab.

8016: Clarify comments/docs and cpuSample initialization.

8016: Rename Poll to PollPeriod.

8016: Fix race in test case.

Add libgnutls28-dev to arvados/jobs.

This is necessary to build pycurl, and with it the Python Arvados SDK,
and support arvados_sdk_version in Crunch.  I'm guessing we lost it
when we switched the base from arvados/debian:7 to debian:jessie.
No issue #.

9486: Add InstanceLimitExceeded to is_cloud_exception

9369: tweaks

9369: arvados-cwl-runner documentation and examples, add deprecation notices to pipeline documentation

Merge branch '9437-keep-index-ns'

refs #9437

See https://dev.arvados.org/issues/9437#note-3 and #note-4

9437: Clarify units for -blob-signature-ttl. Update keepstore -h message in install docs.

9437: Accept 1-second timestamps from old keepstore servers.

Running a new keep-balance/datamanager with old keepstore servers will
interpret timestamps correctly.

Running an old keep-balance/datamanager with new keepstore servers
will not perform any garbage collection: interpreting the new
nanosecond timestamps as 1-second timestamps will result in all blocks
appearing to come from the future, making them ineligible for
trash/delete.

9437: gofmt

9437: Report timestamps as nanoseconds since epoch in keepstore index.

Merge branch '4753-websocket-test-port'

refs #4753

4753: Select an available port for the passenger server when testing websockets.

This makes it possible to run API tests concurrently (in different
working dirs on the same host) without fighting over port 3002.

8016: Report container resource usage in "crunchstat" log.

8016: Fix some error checking in ThrottledLogger.

8016: Fix comment grammar and weird variable name.

8016: Fix timestamp format (add missing nanoseconds), and use it in tests.

8016: Fix up docs and trim API.

8016: Reduce logging noise by waiting for cgroup files to appear before polling.

8016: Split crunchstat into a module and a commmand line tool.

Update arvados-cwl-runner cwltool pin to get ruamel.yaml fix (c8f584840591f3a4a0fad3bce6b39f8866cd9dad) refs #9458

Merge branch '9513-keepproxy-content-length'

closes #9513

9513: Do not set response Content-Length to -1 when returning 411 Length Required.

Add tests for requests with bad/missing Content-Length headers.

Merge branch '9518-username-conflict'

closes #9518

9518: Fix username conflict resolution.

closes #9407
Merge branch '9407-container-log-viewer'

9407: container log view

Merge branch '9511-cwl-type-checking' closes #9511

9511: Bump cwltool dependency to get bugfix (81ff56f239de3ff0d17c8dec98d1a40f1e41cb7d) affecting bcbio run.

Merge branch '9442-cwl-runtime-outdir' closes #9442

9442: Incorporate check for correct $(runtime.outdir) into tests.

9442: Make cwl-runner crunch script backwards compatible (note-6)

9442: Fix runtime.outdir for containers.

9442: Override kwargs["outdir"] so that $(runtime.outdir) is set correctly.

Merge branch '9446-refactor-keep-parallel-write-strategy'

9446: PySDK Keep concurrent write refactoring. Simplified thread management using a thread pool and a queue.
ThreadLimiter not needed anymore, so related tests were rewritten for the new code.
Closes #9446

Merge branch '9491-desired-replicas'

closes #9491

9491: Fix keepproxy support for X-Keep-Desired-Replicas header.

9491: Put*() return number of replicas actually stored, even if we ended up storing more than requested.

Merge branch '8470-resolve-container-req'

closes #8470

8470: Resolve docker image hash or tag to collection PDH when creating a Container.

8470: Clean up ContainerRequest tests.

8470: Resolve mounts to PDH.

8470: Resolve runtime_constraints ranges to numbers when satisfying a Container Request.

9446: Applying Peter's review suggestions. refs #9446

PySDK put() refactoring ready, all local tests worked OK

Some tests done on new code

9488: Add log message to notify users on sucessful websocket reconnect. refs #9488

Merge branch '9486-filter-nodes'

refs #9486