8912: Node Manager search_for_now uses overridden methods.

This wasn't possible in the original implementation because of the way
we used to proxy methods to self.real.  Now that we proxy them
transparently, we can call methods on the Node Manager driver, and let
them be proxied to the underlying libcloud driver if needed.

Pin dockercleaner's docker-py requirement to 1.7.2.

Finishes the job started by 8680c874.  It only seems to be really
necessary on wheezy (because docker-py or its requirements abandoned
support for Python 3.2), but since we're pinning more as a general
rule, might as well make it universal.  Closes #8904, #8922.

Merge branch '8904-support-python3.2'

Closes #8904.

8904: Avoid installing pip >= 8 in a Python 3.2 virtualenv.

Package crunchstat-summary.

closes #8911

Merge branch '8872-node-manager-create-search-handling-wip'

Closes #8872, #8900.

8872: Bugfix Node Manager's node search after node create failure.

search_for raises ValueError if the thing isn't found.  create_node
seems to be expecting it to return None instead.  Bring create_node in
line with search_for's documented API.

In order to get the tests to pass, I had to separate out the raw
search code from the caching, and use that in create_node.  Otherwise,
the cloud node from the "node found" test would be cached and returned
in the "node not found" test.

Remove over-quoting from crunchrunner and certificate volume mounts.  refs #8893

Merge branch '8879-cwl-runner-job-owner-wip'

Closes #8879, #8887.

8879: Clean indentation in CWL SDK tests.

8879: cwl-runner --submit respects --project-uuid.

Merge branch '8810-crunch-improve-docker-loading-wip'

Closes #8810, #8888.

8810: crunch-job reports errors when checking if Docker image is loaded.

Since the check was previously in an `if !` condition, errors in it
would cause us to enter the branch.

Merge branch '8893-crunch-job-crunchrunner-quoting-wip'

Closes #8893, #8895.

8893: crunch-job doesn't pass empty strings to `docker run`.

We solve this issue by requiring $VOLUME_CRUNCHRUNNER and
$VOLUME_CERTS to contain their own quoting.  Because of that, we clear
their values first, to make sure we don't inherit values that might
break the `docker run` invocation.

Merge branch '8712-fuse-cache-reload-bug'

closes #8712

8712: Propagate return value of clear() from super method.  Test cache clearing
collections with subdirs.

8712: Set self.collection = None when clearing the contents of a
CollectionDirectory, so that it gets properly reloaded on update().

8712: Test case that reproduces cache-spill bug.

Merge branch '8811-srun-sync-tempfail-wip'

Closes #8811, #8862.

8811: crunch-job srun_sync detects and reports SLURM tempfails.

preprocess_stderr needed updating to check for these tempfails even in
cases where the child process does not have a slotindex.

Merge branch '8816-compute-node-update-exception' close #8816

8816: Use is_cloud_exception to determine if exception is a "cloud error".  Add
test that exceptions don't crash ComputeNodeUpdateActor.

Fix package building by pinning docker-py to version 1.7.2

No issue #

Merge branch '8782-reapchildren-after-signal-wip'

Closes #8782, #8860, #8870.

8782: Remove WIFEXITED check from crunch-job reapchildren.

The intent of this check was to avoid reaping children that got
SIGSTOP.  But from the waitpid(2) man page, you must pass specific
flags for waitpid to return those children.  Without those flags,
waitpid will only return the pids of children that have terminated.

Meanwhile, WIFEXITED only returns true if the exit code indicates that
the child terminated normally.  It returns false if the child was
killed by a signal like SIGINT or SIGKILL.  This means children so
killed were not reaped by reapchildren, leading to infinite loops.

Merge branch '8857-cwl-job-reuse' closes #8857

8816: Handle cloud errors slightly differently from unrecognized errors.

8816: ComputeNodeUpdateActor._throttle_errors logs errors instead of re-throwing them.

A few more fixes for run-build-packages-python-and-ruby.sh, and a small
safeguard for run-build-packages.sh.

refs #8864

Merge branch 'master' into 8857-cwl-job-reuse

Conflicts:
sdk/cwl/arvados_cwl/__init__.py

Add build/run-build-packages-python-and-ruby.sh script to handle upload
to pypi and rubygems.

refs #8864

Merge branch '8828-which-crunchrunner' closes #8828

8828: Fix bind mount point for certificates.

8828: Move logic for checking $(which crunchrunner) into script that runs before invoking Docker on the compute node.

Build newer cwltool version.

No issue #

Merge branch '8840-lock-job-record' closes #8840

Merge branch '8654-arv-jobs-cwl-runner' closes #8654

8654: Update test because input cwl files changed.

8654: Fix versionstring().  Improve help text / comments / style tweaks.

Merge branch 'master' into 8654-arv-jobs-cwl-runner

8654: Rename tests/inp/ to test/input/

8857: Add --ignore-docker-for-reuse option to assist workflow development.

8840: Use 'with_lock' instead of 'transaction' in Job.lock method.

8654: Add missing test_submit

8654: Add comments

8654: Print uuid of uploaded docker image on stderr instead of stdout.

closes #8703
Merge branch '8703-job-components'

Merge branch 'master' into 8703-job-components

8654: Update test_with_arvbox.sh

crunchrunner crunch script selects between $JOB_PARAMETER_CRUNCHRUNNER
or /usr/local/bin/crunchrunner, refs #8827

8654: Pin pyasn1_modules to version that is compatible with pyasn1==0.1.7.

8654: Fix version string produced by arvados-cwl-runner.

Fix sdk/cwl test refs #8815

Merge branch '8815-crunchrunner-everywhere' closes #8815

Merge branch '8815-crunchrunner-everywhere' into 8654-arv-jobs-cwl-runner

Conflicts:
sdk/cwl/arvados_cwl/__init__.py

8654: Make --submit --wait the default mode.

8703: better organized tests

8815: Fix syntax errors.

8815: Now expect /usr/local/bin/crunchrunner.  Bind mount host certificates to
/etc/arvados/ca-certificates.crt

Merge branch 'master' into 8703-job-components

Build a package for crunchrunner.

refs #8815

8815: Rely on system-provided crunchrunner.  Also use arvados/jobs by default if no docker provided.

8815: Crunch-job bind mounts crunchrunner binary and certificates from host.
Updated arvbox to compile and install crunchrunner.

8654: Bump cwltool version dependency and print cwl version string in cwl-runner crunch script.

Merge branch 'master' into 8654-arv-jobs-cwl-runner

Conflicts:
docker/jobs/Dockerfile

Merge branch '8800-queue-query'

Closes #8800, #8809.

8800: Document the new queue_position implementation.

For the benefit of future readers.

Fix package build and test of the arvados-cwl-runner package for
ubuntu1204 and centos6.

refs #8671

8800: Drop queue_position support.

Bump up the iteration for the python-arvados-cwl-runner package so that
it gets rebuilt.

refs #8671

Fix a few more dependencies for the python-arvados-cwl-runner package.

refs #8671

8654: Passes 100% CWL conformance tests using running cwl-runner in a crunch job!

8654: --version reports versions for arvados-cwl-runner, arvados-python-client,
and cwltool.

8556: Update method signature for current SDK version.

refs #8556

8703: add "components" hash to job.

Merge branch '8767-items-available'

refs #8767

8767: Make offset work properly in ApiClientAuthorizationsController#index.

Before this, #index was ignoring the "offset" request param and was
not providing an "items_available" attribute in the response.  This
made Workbench's "get all pages" routine an infinite loop.

Don't retry slurm subprocess calls that raise OSError, no issue #

Fix merge conflict.  refs #8766

8654: Add value for quiet to args.

Merge branch '8766-cwl-collection-project'

Merge branch 'master' into 8766-cwl-collection-project

Conflicts:
sdk/cwl/tests/test_job.py

Build script fix: make sure that run-build-docker-jobs-image.sh always
rebuilds the jobs image when the git commit passed in via --tags
changes.

No issue #

Merge branch '8766-cwl-collection-project' into 8654-arv-jobs-cwl-runner

Conflicts:
sdk/cwl/arvados_cwl/__init__.py

8766: Refactor logic to copy output collection and add tests.

Fix sdk/cwl tests after commit 9df4d7da24ef8be639af1ab806cf833ee544fb45

refs #8426

8766: Port logic from arv-run-pipeline-instance for copy collection to parent
project.

8654: Bump cwltool version

8654: Use iterator instead of readlines() when going through job log file.

Clean up build/run-build-docker-jobs-image.sh a bit.

No issue #

Merge branch 'master' into 8654-arv-jobs-cwl-runner

Merge branch '8747-fix-crash-on-update'

refs #8747

8345: Do not crash when update() called without an obj.

Crunchrunner fix connect os.Stderr to cmd.Stderr & update crunchrunner
collection ref in arvados-cwl-runner refs #8426

8654: Remove print statements.

8654: Handle error on capturing runner output

8654: Support --quiet

8654: Support waiting for submitted runner job to complete

8654: Upload Docker images