Merge branch '8697-ruby187-compat'

refs #8697
refs #8689

Merge branch '9014-keep-block-check-package'

closes #9014

adding new package for block checks

refs #9014

Merge branch '8953-no-double-count' refs #8953

6833: Fix excessive debug logging in TokenExpiryTest and subsequent tests.

Excessive logging was introduced (seemingly unintentionally) in d3313e65.

refs #6833

Don't double-count nodes that are shutting down.  refs #8953

Merge branch '9009-keep-web-close-conns'

closes #9009

9009: Fix missing Close() in collectionreader.

Merge branch '9004-close-keep-connections'

refs #9004
refs #9005

Change Check to Assert to avoid crash after failure. No issue #

9005: Workaround: Close idle connections aggressively.

Currently, the SDK code never reuses connections anyway, so it's best
to shut them down right away.

Don't issue drain when shutdown has been cancelled.  refs #8953

Don't try to drain node if no nodeename associated.  refs #8953

Merge branch '8953-node-manager-FSM' closes #8953

8953: Don't start shutdown on 'drng*' or 'alloc*'.

8953: Assign to tuple (eligible, reason)

8953: shutdown_eligible() returns a tuple.  Report reason for shutdown decision.

8953: Clarify how to use return value from consulting transitions table and shutdown_eligible().

8953: Fix indentation of shutdown_eligible().

8953: Add missing transitions.py

Fixup test_node_undrained_when_shutdown_cancelled and test_alloc_node_undrained_when_shutdown_cancelled.

8953: Tests pass, with some removed due to removal of the corresponding behavior.

8953: Node manager shutdown policy change WIP.  Still fixing tests.

Add /var/lib/gopath and /var/lib/pip permissions fixup to Arvbox createusers.sh
to fix demo build, no issue #

8697: Fix Locator.parse() (was failing on locators with hints).

8697: ruby 1.8.7 compatibility in arvados/collection.

8697: Move error messages from stdout to stderr.

8697: Relax version constraints so gem can be used in ruby187/ree projects.

Merge branch '8959-python-gflags-dependencies'

Revert "I <3 pythong-gflags"

This reverts commit e935e107a4ac6250ae64878262c3145d7a62b8e8.

Merge branch '8959-python-gflags-dependencies'

I <3 pythong-gflags

closes #8959

8959: pinning out the version of python-gflags

refs #8959

Merge branch '8893-crunch-job-volumes-array-wip'

Closes #8893, #8921.

8893: Safer quoting of crunch-job's conditional volume switches.

Packing arguments into an array allows us to both have a variable
number of switches, with correct word splitting, even when the
indivdiual arguments in the array have whitespace.

Propagate designated stdout stream from keepdocker.main() to put.main().
no issue #

closes #8724
Merge branch '8724-keep-block-check-script'

Merge branch 'master' into 8724-keep-block-check-script

Rename "rebuild" back to "reboot" and change "rebuild" to mean "build
--no-cache". "arvbox start" no longer fails if the container is already
running. Update docs.  no issue #

4083: crunchstat-summary imports _strptime.

Refs #4083 for rationale.
Refs #8933 where this was reported.
See also d9014288.

Merge branch '8912-node-manager-patch-nodes-wip'

Closes #8913, #8923.  (The branch name has a typo.)

8912: Node Manager search_for_now uses overridden methods.

This wasn't possible in the original implementation because of the way
we used to proxy methods to self.real.  Now that we proxy them
transparently, we can call methods on the Node Manager driver, and let
them be proxied to the underlying libcloud driver if needed.

8724: some more cleanup of tests.

Add args.ignore_docker_for_reuse=False to cwl-runner crunch script. refs #8857

Merge branch 'master' into 8724-keep-block-check-script

8724: test updates

Add --help to test_with_arvbox.sh, no issue #

Separate out Go and Python dependencies into separate directories that don't
get deleted by "reset" because they include code from downloading external
dependencies.  Add -data-manager-token to keepstore invocation for datamanager
testing.

closes #7658
Merge branch '7658-websockets-reconnect-on-close'

Merge branch 'master' into 7658-websockets-reconnect-on-close

7658: update connect error test to use stream handler to read the log file, instead of using a temp file.

Merge branch '8799-make-drained-nodes-idle' closes #8799

8799: shutdown_eligible() returns "node is draining" when in drain state.  Add comments about iterating over cloud_nodes to check for "down" nodes.  Fix tests.

Pin dockercleaner's docker-py requirement to 1.7.2.

Finishes the job started by 8680c874.  It only seems to be really
necessary on wheezy (because docker-py or its requirements abandoned
support for Python 3.2), but since we're pinning more as a general
rule, might as well make it universal.  Closes #8904, #8922.

7658: Clean up & handle subscription filters consistently across EventClient,
_EventClient and PollClient.

7658: improve the log verification in case of unexpected close.

7658: add test that verifies reconnect retry behavior

Merge branch '8904-support-python3.2'

Closes #8904.

8904: Avoid installing pip >= 8 in a Python 3.2 virtualenv.

Package crunchstat-summary.

closes #8911

Merge branch '8872-node-manager-create-search-handling-wip'

Closes #8872, #8900.

8872: Bugfix Node Manager's node search after node create failure.

search_for raises ValueError if the thing isn't found.  create_node
seems to be expecting it to return None instead.  Bring create_node in
line with search_for's documented API.

In order to get the tests to pass, I had to separate out the raw
search code from the caching, and use that in create_node.  Otherwise,
the cloud node from the "node found" test would be cached and returned
in the "node not found" test.

Merge branch 'master' into 7658-websockets-reconnect-on-close

8724: performKeepBlockCheck() returns error when any of the listed blocks are not found.

8724: test assertion improvements

Remove over-quoting from crunchrunner and certificate volume mounts.  refs #8893

8724: add keep-block-check script

8799: Nodes in "drain" state are not automatically eligible for shutdown to
avoid a race between starting a shutdown and resume_node().

Merge branch '8879-cwl-runner-job-owner-wip'

Closes #8879, #8887.

8879: Clean indentation in CWL SDK tests.

8879: cwl-runner --submit respects --project-uuid.

8799: Nodes with slurm_state are "down" are checked with sinfo and either reenabled or are valid for shutdown.

Merge branch '8810-crunch-improve-docker-loading-wip'

Closes #8810, #8888.

8810: crunch-job reports errors when checking if Docker image is loaded.

Since the check was previously in an `if !` condition, errors in it
would cause us to enter the branch.

Merge branch '8893-crunch-job-crunchrunner-quoting-wip'

Closes #8893, #8895.

8893: crunch-job doesn't pass empty strings to `docker run`.

We solve this issue by requiring $VOLUME_CRUNCHRUNNER and
$VOLUME_CERTS to contain their own quoting.  Because of that, we clear
their values first, to make sure we don't inherit values that might
break the `docker run` invocation.

Merge branch '8712-fuse-cache-reload-bug'

closes #8712

8712: Propagate return value of clear() from super method.  Test cache clearing
collections with subdirs.

7658: update EventClient.on_closed to retry on connect errors.

7658: add reconnect logic when a websocket is closed unexpectedly.

8712: Set self.collection = None when clearing the contents of a
CollectionDirectory, so that it gets properly reloaded on update().

8712: Test case that reproduces cache-spill bug.

Merge branch '8811-srun-sync-tempfail-wip'

Closes #8811, #8862.

8811: crunch-job srun_sync detects and reports SLURM tempfails.

preprocess_stderr needed updating to check for these tempfails even in
cases where the child process does not have a slotindex.

Merge branch '8816-compute-node-update-exception' close #8816

8816: Use is_cloud_exception to determine if exception is a "cloud error".  Add
test that exceptions don't crash ComputeNodeUpdateActor.

Fix package building by pinning docker-py to version 1.7.2

No issue #

Merge branch '8782-reapchildren-after-signal-wip'

Closes #8782, #8860, #8870.

8782: Remove WIFEXITED check from crunch-job reapchildren.

The intent of this check was to avoid reaping children that got
SIGSTOP.  But from the waitpid(2) man page, you must pass specific
flags for waitpid to return those children.  Without those flags,
waitpid will only return the pids of children that have terminated.

Meanwhile, WIFEXITED only returns true if the exit code indicates that
the child terminated normally.  It returns false if the child was
killed by a signal like SIGINT or SIGKILL.  This means children so
killed were not reaped by reapchildren, leading to infinite loops.

Merge branch '8857-cwl-job-reuse' closes #8857

8816: Handle cloud errors slightly differently from unrecognized errors.

8816: ComputeNodeUpdateActor._throttle_errors logs errors instead of re-throwing them.

A few more fixes for run-build-packages-python-and-ruby.sh, and a small
safeguard for run-build-packages.sh.

refs #8864

Merge branch 'master' into 8857-cwl-job-reuse

Conflicts:
sdk/cwl/arvados_cwl/__init__.py

Add build/run-build-packages-python-and-ruby.sh script to handle upload
to pypi and rubygems.

refs #8864

Merge branch '8828-which-crunchrunner' closes #8828

8828: Fix bind mount point for certificates.

8828: Move logic for checking $(which crunchrunner) into script that runs before invoking Docker on the compute node.

Build newer cwltool version.

No issue #

Merge branch '8840-lock-job-record' closes #8840