9213: Improve gem loading in `arv`.

* Include the exception string in the error message.
* Separate stdlib loading problems from gem loading problems.
* Load gems with more dependencies first, to avoid situations like
  this:

irb(main):001:0> require 'active_support/inflector'
=> true
irb(main):002:0> require 'arvados/google_api_client'
Gem::LoadError: Unable to activate arvados-0.1.20160420143004, because activesupport-4.2.6 conflicts with activesupport (< 4.2.6, >= 3)

9213: Fix google-api-client dependency range in gemspecs.

Merge branch '9135-eventclient-run-forever-wip'

Closes #9135, #9157.

9135: Bring EventClient's public interface closer to PollClient's.

* Restore the run_forever method, which was previously inherited from
  WebSocketClient.
* Remove the connect and close_connection methods, which are
  WebSocketClient implementation details that don't make sense as part
  of the public interface.  (A running EventClient will just reconnect
  if you call close_connection on it.)

9135: Make EventClient initialization more consistent.

* DRY up the setup code.  This includes always trying to close the
  conenction after failure, since we were doing that in the initial
  connection.
* Make the client a daemon thread, for consistency with PollClient.

9135: Clean imports in test_events.

9135: Add basic tests for Python events listeners.

These ensure that both classes have the core methods subscribe,
unsubscribe, run_forever, and close.

Rename the test file to test_events, to better match other test
patterns, and account for the fact it tests both classes in the
module.

9188: Update SetBlobMetadata func signature.

refs #9188

Merge branch '8128-crunch2-auth-api'

closes #8128

8128: Fix test race.

8128: Fix flaky test: pipe the "echo UUID" script to sh, not to "echo UUID".

8128: Use row lock during Container update, add comments.

8128: Add arvados.v1.api_client_authorizations.current

8128: Add runtime tokens for containers, and locks for multiple dispatchers

8128: Update crunch-dispatch-local to use new Locked state.

8128: Update crunch-dispatch-slurm to use new Locked state.

8128: Add Locked state to Container model.

8128: De-dup container unit tests

Merge branch '8886-async-permission-update' refs #8886

8886: Restore behavior in group_permissions to call
calculate_group_permissions when cache is empty and async_permissions_update is
not true.

closes #8017
Merge branch '8017-slurm-runtime-constraints'

8017: RuntimeConstraints uses int64

closes #8464
Merge branch '8464-crunch2-stdout'

8017: RuntimeConstraints uses int64

Merge branch '8017-slurm-runtime-constraints' of git.curoverse.com:arvados into 8017-slurm-runtime-constraints

8464: stdout handling

8886: Add timestamp checking to permission updates.

8017: mem-per-cpu

8017: pass ram and vcpus runtime_constraints from Container to sbatch command.

8017: mem-per-cpu

Merge branch 'master' into 8017-slurm-runtime-constraints

8464: Add stdout redirection in crunch2.

Merge branch '9017-apiserver-short-tests'

refs #9017

9017: Skip some slow API server tests in --short mode.

Update API server and Workbench bundles to latest arvados gems.

No issue #

8886: Experimental asynchronous permissions update.

Add configuration parameter 'async_permissions_update' (default false).  If
true, do not delete permission cache in #invalidate_permissions_cache, but
instead trigger "NOTIFY invalidate_permissions_cache" on the database.

Add script/permission-updater.rb which runs as an independent process.  It
blocks on "LISTEN invalidate_permissions_cache" and updates the permission
cache whenever notified.

This is not ready for use; in particular it creates a race condition
recomputing permissions with effects such as not being able to read back API
records that were just created.

Fix compatibility with latest azure-sdk-for-go.

No issue #

Merge branch '9068-drop-abandoned-conns'

closes #9068

9068: Fix inconsistent receiver names.

9068: Do not use coverage tools when using non-default test flags ({gostuff}_test=...)

9068: Move buffer allocation from volumes to GetBlockHandler.

This makes the Volume interface more idiomatic: Get() accepts a buffer
to read into, and returns a number of bytes read, much like the Read()
method of an io.Reader.

It also makes it possible for GetBlockHandler to notice, while waiting
for a buffer, that the client has disconnected: In this case, it
releases the network socket and never asks any volumes to do any work.

9068: Drop PUT requests if the client disconnects before we get a buffer.

Relax arvados-cli gem dependency version constraints in order to be
compatible with the latest arvados gem.

No issue #

Merge branch '9120-node-manager-search-ex-methods-wip'

Closes #9120, #9124.

9120: search_for_now falls back to real driver methods when needed.

This fixes a regression introduced in 32eb510594.

9120: Add tests for BaseComputeNodeDriver's search_for methods.

Merge branch '9118-arv-put-nameerror-fix-wip'

Closes #9118, #9127.

9118: Fix arv-put crash when finishing without output.

8017: pass ram and vcpus runtime_constraints from Container to sbatch command.

Merge branch '9119-oj-load-strict'

refs #9119

9119: Use Oj strict mode for decoding JSON.

Update version pin for cwltool fpm packages. refs #8653

Merge branch '8998-optimize-decode-www-form-component' closes #8998

Fix inverted test for pypi/gem upload logic. Make upload more verbose.

No issue #

Use "grep -xF ... >/dev/null" instead of "grep -qxF ..."

1. -q "Exit immediately with zero status if any match is found, even if
an error was detected." --grep(1)

Depending on buffering and timing, if grep exits early (before
consuming stdin) "docker images" can receive SIGPIPE and exit
non-zero. We use "set -o pipefail" here, so this fails the "docker
load" phase and then the whole job.

2. "Portable shell scripts should avoid both -q and -s and should
redirect standard and error output to /dev/null instead." --grep(1)

No issue #

Merge branch '8653-cwl-to-template'

refs #8653

8653: Add arvados-cwl-runner --create-template flag

8653: DRY testing code.

8653: Turn off debug messages / verbose logging in test suite.

8653: Fix whitespace.

8998: Monkey patch URI.decode_www_form_component to validate efficiently.

Rack uses the standard library method URI.decode_www_form_component to process
parameters.  This method first validates the string with a regular expression,
and then decodes it using another regular expression.  Ruby 2.1 and earlier has
a bug is in the validation; the regular expression that is used generates many
backtracking points, which results in exponential memory growth when matching
large strings.  The fix is to monkey-patch the version of the method from Ruby
2.2 which checks that the string is not invalid instead of checking it is
valid.

Fix arvbox only run pipelines with crunch-dispatch0 to avoid submitting duplicated jobs. no issue #

refs #8937
Merge branch '8937-arv-put-cache-check'

8937: refactor cache check logic into a check_cache method and update all references.

8937: invalidate cache and create new one if there are errors on head request during ResumeCache.

8937: updated arvados_testutil.py to skip setting resp_body to writer when it is a boolean.

8937: Return True for Head requests in KeepClients. The tests in KeepClientRetryHeadTestCase are failing due to this and need to be worked on.

8937: test updates

8937: bypass cache for all head requests.

8937: add head request to python keep client.

Read resource object from a file, e.g., arv collection create --collection /tmp/foo.json

No issue #

Log a banner at the top of each test.

No issue #

Merge branch '8963-arv-copy-link-properties-wip'

Closes #8963, #9110.

8963: arv-keepdocker copies metadata links' properties.

Merge branch '9066-max-requests'

refs #9066

9066: Add keepstore -max-requests argument.

Merge branch '9017-skip-slow-tests'

refs #9017

9017: Add run-tests.sh --short flag to skip (some) slow tests.

Merge branch '8931-event-thread-catch-exceptions' closes #8931

8931: Fix indentation mistakes.  Fix tests.

Fix centos6 packages build.

No issue #

8931: Use RetryLoop around websocket reconnect.  Create a new _EventClient
object on each loop iteration.  Handle unexpected exceptions in PollClient
retry loop.

closes #8936
Merge branch '8936-ttl-in-signing-key'

Merge branch 'master' into 8936-ttl-in-signing-key

Merge branch '8831-crunchrunner-doc'

closes #8831

8831: Add crunchrunner to shell node dependencies.

8831: Add crunchrunner to compute node dependencies.

8936: add test to verify blobSignatureTTL from discovery when it is not provided.

Fix building packages: work around pip having a mind of its own with
regard to downloading zip or tar archives.

This requires the addition of the 'unzip' tool to the docker images used
to build packages, so they will need to be rebuilt.

No issue #

8936: update keep-block-check and keep-rsync to properly use blob-signature-ttl to perform the signature verification.

Fix a bunch of misspellings in our Go code (all in comments).

Thank you https://goreportcard.com/report/github.com/curoverse/arvados#misspell

No issue #

Bump cwltool fpm package version to fix package builds.  no issue #

8931: Use RetryLoop to retry api calls.  Add max_wait to RetryLoop.  Add test
for api error retry.

closes #8936
Merge branch '8936-ttl-in-signing-key'

Fix race conditions in test_node_undrained_when_shutdown_cancelled
and test_boot_new_node_when_all_nodes_busy. refs #8953

8936: updated blob_test.rb to continue to use the default blob_signature_ttl.

8936: update go tests to use a blob-signature-ttl different than 1s.

Pin bump cwltool dependency and pin version so it doesn't break again due to
external changes.  no issue #

8936: update the blob_test to use a specific blob_signature_ttl to ensure consistent results.

8936: update comment on keepstore and go fmt