Merge branch 'master' into 8654-arv-jobs-cwl-runner

8654: Rename tests/inp/ to test/input/

8654: Add missing test_submit

8654: Add comments

8654: Print uuid of uploaded docker image on stderr instead of stdout.

closes #8703
Merge branch '8703-job-components'

Merge branch 'master' into 8703-job-components

8654: Update test_with_arvbox.sh

crunchrunner crunch script selects between $JOB_PARAMETER_CRUNCHRUNNER
or /usr/local/bin/crunchrunner, refs #8827

8654: Pin pyasn1_modules to version that is compatible with pyasn1==0.1.7.

8654: Fix version string produced by arvados-cwl-runner.

Fix sdk/cwl test refs #8815

Merge branch '8815-crunchrunner-everywhere' closes #8815

Merge branch '8815-crunchrunner-everywhere' into 8654-arv-jobs-cwl-runner

Conflicts:
sdk/cwl/arvados_cwl/__init__.py

8654: Make --submit --wait the default mode.

8703: better organized tests

8815: Fix syntax errors.

8815: Now expect /usr/local/bin/crunchrunner.  Bind mount host certificates to
/etc/arvados/ca-certificates.crt

Merge branch 'master' into 8703-job-components

Build a package for crunchrunner.

refs #8815

8815: Rely on system-provided crunchrunner.  Also use arvados/jobs by default if no docker provided.

8815: Crunch-job bind mounts crunchrunner binary and certificates from host.
Updated arvbox to compile and install crunchrunner.

8654: Bump cwltool version dependency and print cwl version string in cwl-runner crunch script.

Merge branch 'master' into 8654-arv-jobs-cwl-runner

Conflicts:
docker/jobs/Dockerfile

Merge branch '8800-queue-query'

Closes #8800, #8809.

8800: Document the new queue_position implementation.

For the benefit of future readers.

Fix package build and test of the arvados-cwl-runner package for
ubuntu1204 and centos6.

refs #8671

8800: Drop queue_position support.

Bump up the iteration for the python-arvados-cwl-runner package so that
it gets rebuilt.

refs #8671

Fix a few more dependencies for the python-arvados-cwl-runner package.

refs #8671

8654: Passes 100% CWL conformance tests using running cwl-runner in a crunch job!

8654: --version reports versions for arvados-cwl-runner, arvados-python-client,
and cwltool.

8556: Update method signature for current SDK version.

refs #8556

8703: add "components" hash to job.

Merge branch '8767-items-available'

refs #8767

8767: Make offset work properly in ApiClientAuthorizationsController#index.

Before this, #index was ignoring the "offset" request param and was
not providing an "items_available" attribute in the response.  This
made Workbench's "get all pages" routine an infinite loop.

Don't retry slurm subprocess calls that raise OSError, no issue #

Fix merge conflict.  refs #8766

8654: Add value for quiet to args.

Merge branch '8766-cwl-collection-project'

Merge branch 'master' into 8766-cwl-collection-project

Conflicts:
sdk/cwl/tests/test_job.py

Build script fix: make sure that run-build-docker-jobs-image.sh always
rebuilds the jobs image when the git commit passed in via --tags
changes.

No issue #

Merge branch '8766-cwl-collection-project' into 8654-arv-jobs-cwl-runner

Conflicts:
sdk/cwl/arvados_cwl/__init__.py

8766: Refactor logic to copy output collection and add tests.

Fix sdk/cwl tests after commit 9df4d7da24ef8be639af1ab806cf833ee544fb45

refs #8426

8766: Port logic from arv-run-pipeline-instance for copy collection to parent
project.

8654: Bump cwltool version

8654: Use iterator instead of readlines() when going through job log file.

Clean up build/run-build-docker-jobs-image.sh a bit.

No issue #

Merge branch 'master' into 8654-arv-jobs-cwl-runner

Merge branch '8747-fix-crash-on-update'

refs #8747

8345: Do not crash when update() called without an obj.

Crunchrunner fix connect os.Stderr to cmd.Stderr & update crunchrunner
collection ref in arvados-cwl-runner refs #8426

8654: Remove print statements.

8654: Handle error on capturing runner output

8654: Support --quiet

8654: Support waiting for submitted runner job to complete

8654: Upload Docker images

8654: Bump arvados-cwl-runner version dependency on arvados python client.

8654: When uploading, reuse existing collections with same owner/name/PDH

8654: Bump arvados-cwl-runner version dependency on arvados python client.

8654: Job has uuid and state fields

8654: Add args.debug = True to get backtraces on errors

8654: Set args.submit = False

8654: Add runner job to pipeline instance.

8654: Update cwl:tool entry

8654: Fix keeppath and add ensure_unique_name to upload.

8654: Scanning for and uploading dependencies for submit works.  Add test for
--submit.  Fix cwl-runner to handle CWL File objects in script_parameters.

Merge branch 'master' into 8654-arv-jobs-cwl-runner

More small build script improvements.

No issue #

Build script improvements:

* move some more functions into run-library.sh
* add a wrapper script for our single target package build/test/upload step

No issue #

Enable BaseComputeNodeDriver.list_nodes to pass through keyword arguments.
closes #8761

Merge branch '8002-no-pyvcf-wip'

Closes #8002, #8759.

8002: Stop backporting PyVCF.

Arvados proper doesn't use it.  We only backported it as a convenience
previously.

Merge branch '7852-readline-cache-fix-wip'

Closes #7852, #8755.

7852: Bugfix _filepos tracking in PySDK readline method.

Make sure self._filepos is always in the right position to return
uncached data before another read method could be called, to avoid
inconsistent results when interleaving those calls with readline
calls.

7852: Added one more test "test_readline_then_readall" which does a readline followed by a readall.
This test also fails exactly like the test "test_readline_then_readlines".

7852: add a failing test that does: readline and then readlines. The expectation would be the second call,
readlines, would fetch all the remaining lines after the first line. However, the readlines call is only
fetching the data after the "first block" which was read during the first readline call. It appears that
self._readline_cache and self._filepos are playing a role here, which are set during the first readline.

Fix log scanning for "crunchrunner: $(task.outdir)" performed by arvados cwl
runner.  no issue #

Make the build of the schema_salad packages more quiet.

refs #8671

gofmt. refs #8754

8654: Resource upload WIP

Improve exception reporting for arvados-cwl-runner, no issue #

Build dependencies for arvados-cwl-runner, automatically.

closes #8671

8752: Skip unreliable Python SDK Keep test.

Refs #8752.  See there for more discussion about the circumstances of
failure.

closes #8561
Merge branch '8561-node-pairing'

Merge branch 'master' into 8561-node-pairing

8561: delete redundant "maxDiff = None"

Merge branch '8561-node-pairing' of git.curoverse.com:arvados into 8561-node-pairing

8561: Set ec2_instance_id and cloud_factory().node_id to mock cloud/arvados id
instead of constant '2'.

Node manager bugfix: late subscribers should get proxy() not _later (which is a tell_proxy())
fixes #8691 note-4

Merge branch '8709-docker-cleaner-volumes-wip'

Closes #8709, #8711.

8709: Docker cleaner cleans container volumes.

This prevents a compute node's Docker partition from filling with
scratch space volumes.

Merge branch 'master' into 8561-node-pairing

closes #8554
Merge branch '8554-trash-untrash-unix-volume'

Merge branch 'master' into 8554-trash-untrash-unix-volume

8554: Report Walk errors and continue, instead of stopping silently.

8554: Un-pyramid code

8554: Dedup Get() checks, add comments, fix up regexp.

8561: Fix test_arvados_node_match