4027: Fixups suggested by code review.

4027: Add unit test suggested by code review.

4027: API server considers arvados_sdk_version for Job reuse.

* Extend "in git" and "not in git" filters to the arvados_sdk_version
  column.
* When no filters are specified, if the submitted job specifies an
  arvados_sdk_version constraint, require reuse candidates to meet it.
* Document all this.

closes #3177
Merge branch '3177-collection-choose-files'

3177: use no left padding when collection files preview panel is used in file chooser dialog.

Merge branch 'master' into 3177-collection-choose-files

Merge branch '2853-rendezvous' closes #2853

2853: Merge branch 'master' into 2853-rendezvous

Merge branch '4027-api-sdk-version-wip'

Refs #4027.  Closes #4489.

4027: Add arvados_sdk_version runtime constraint to API server.

Crunch will use this information to provide a specific SDK version in
the runtime environment.

3177: update test to select row in preview panel

Merge branch 'master' into 3177-collection-choose-files

3177: file selection

2853: Use mock from KeepClientServiceTestCase for rendezvous tests
instead of intruding on KeepClient's private instance variables.

Update arv-tag --help text in arv subcommands documentation.

refs #4486

Make arv-tag print usage when --help is given. Also, fix typo in usage lines.

No issue #

Remove some redundant lines from sdk/bin/arv

No issue #

2853: Avoid using reserved word "hash" as a variable name.

2853: Fix reference to reference set.

2853: Use Md5String() in getWeight().

2853: Remove redundant test case.

Merge branch '3609-run-command-bugfix'

Refs #3609.

3609: fix "NameError: name 'rcode' is not defined"

If run-command raises an exception in the main 'try' loop before any
subprocesses have run, rcode will not be defined and "not any([status !=
0 for status in rcode.values()])" will raise a confusing "NameError:
name 'rcode' is not defined" exception.

Solution is to define rcode before the try/except block and to make sure
'success' is False if rcode is completely empty.

Merge branch 'master' into 3177-collection-choose-files

Conflicts:
apps/workbench/app/views/collections/_choose_rows.html.erb

3177: in file chooser mode, allow row selection

2853: Merge branch 'master' into 2853-rendezvous

Conflicts:
sdk/python/arvados/keep.py

Merge branch '4380-node-manager-computenode-reorg-wip'

Refs #4380.  Closes #4496.

4380: Reorganize arvnodeman.computenode.

This makes the hierarchy a little richer:

* arvnodeman.computenode.driver has all the cloud driver wrappers.
* arvnodeman.computenode.dispatch will be just like that, except it
  will consider local dispatch concerns.  For example, I'm going to
  add a SLURM submodule here to take care of draining.
* arvnodeman.computenode still has utility functions and
  ShutdownTimer.

Merge branch '4434-collation' closes #4434

Merge branch '3400-workbench-all-items' closes #3400

Merge branch 'master' into 3400-workbench-all-items

3400: test limit between server maxpagesize and 2x server maxpagesize.

Conflicts:
apps/workbench/test/unit/arvados_resource_list_test.rb

Merge branch 'master' into 3177-collection-choose-files

Bugfix bad exception name in PySDK util.is_hex.

No issue #.

3400: Stub out obsolete #links_for and remove result_links and related test.
Set @result_limit and @result_offset to nil unless @fetch_multiple_pages ==
false.  Add test for limit > default page size.

Merge branch '3857-python-sdk-timeout-bugfix'

Fixes #3857.

3857: fix python-requests dependency

Multiple timeout support in python-requests is only supported in
versions 2.4.0 or later.

Merge branch '3603-pysdk-file-api-wip'

Refs #3603.  Closes #4316.

3603: PySDK Collection objects support file-like APIs.

This commit adds an open() method to CollectionReader and
CollectionWriter.  They mimic the built-in open(), returning objects
that implement as much as the Python file API as I can reasonably
manage.

There are a couple of backwards-incompatible changes to
StreamFileReader here:

* seek() now defaults to SEEK_CUR rather than SEEK_SET behavior.
* readlines() returns a list, and no longer supports decompression.

These changes bring the object closer to a file-like object.  We
reviewed our existing Python code, including known Crunch scripts from
users.  Nobody was using seek(), and nobody was obviously relying on
the decompression behavior of readlines().  So we believe this is
reasonably safe.

(Contrast name(), which lots of things are using, so we provide a
backward compatibility shim for it.)

3603: Clean up PySDK imports.

Sort; remove unused imports.

3603: Fix context methods for PySDK Collection objects.

Merge branch 'master' into 3177-collection-choose-files

Fix broken doc link.

refs #4486

Merge branch '4486-document-arv'

refs #4486

Remove trailing whitespace.

refs #4486

Merge branch 'master' into 4486-document-arv

refs #4486

Add TCPKeepAlive and ServerAliveInterval ssh options to the .ssh/config
snippet that Workbench suggests.

no issue #

Add some basic documentation for the arv subcommands.

refs #4486

2853: Remove shuffledServiceRoots() wrapper.

Merge branch '4294-node-manager-min-nodes'

Fixes #4294.

2853: Add comment.

Merge branch '3857-python-sdk-timeouts'

Fixes #3857.

3857: fixed comment

2853: Use the same keep_service UUIDs so tests behave reliably.

4294: additional unit tests

test_server_calc_returns_min_nodes_for_one_job
* Ensures that the @ServerCalculator@ still returns a wishlist with
_min_nodes_ when there is a job in the queue.

test_server_calc_more_jobs_than_min_nodes
* Tests that when the job queue has between _min_nodes_ and _max_nodes_ in
it, @ServerCalculator@ returns a wishlist exactly as long as the job
queue.

4294: code review feedback

* Added min_nodes to sample config files
* Renamed idle_nodes to needed_nodes

3857: fixed import order. d'oh

3857: code review feedback

* Set default timeouts to (20, 300) for proxies and (2, 300) for all
  else.
* KeepService:
** Removed unused 'timeout' argument to __init__()
** Trimmed unnecessary exceptions in last_status()
* Tests:
** test_collections.py: changed mock_api_call return value back to
   fake_httplib2_response
** Flattened test layers to eliminate KeepClientRetryGetTestMixin and
   KeepClientRetryPutTestMixin
** Moved proxy timeout tests to
   KeepClientServiceTestCase.test_proxy_get_request and
   .test_proxy_put_request
* Removed excess blank lines in docstrings

2853: Update tests to survive ServiceRoots being a map[string]string.

2853: Add tests for reference set and some edge cases.

2853: Add "reference set" test to check probe order agreement between implementations.

2853: Fix instance ID in test fixture hostnames. Clean up brittle tests.

2853: Use rendezvous hashing to select probe order in Python library.

2853: Use rendezvous hashing to select probe order.

4434: use select! instead of &= to preserve duplicates.

4294: added min_nodes config parameter

Added min_nodes configuration setting.  The job queue will return a
wishlist with at least min_nodes elements in it, and the node manager
daemon will avoid shutting down a node if it would bring the total below
min_nodes.

* arvnodeman.config sets default min_nodes to 0.
* NodeManagerDaemonActor:
** _nodes_wanted returns at least enough to keep the node count above
   min_nodes
** _nodes_excess will not allow the node count to drop below min_nodes
* jobqueue.ServerCalculator.servers_for_queue returns a list with at least
  min_nodes elements
* added test cases:
** NodeManagerDaemonActorTestCase.test_shutdown_declined_below_min_nodes
** ServerCalculatorTestCase.test_server_calc_returns_at_least_min_nodes

Expand websocket config comments. refs #4233

Merge branch 'master' into 3177-collection-choose-files

Explicitly list the URL that get.arvados.org redirects to, for those
folks who would like to read the install script before executing it.

No issue #

Python run_test_server runs websockets separately non-SSL for compatibility
with default application.yml.default.  refs #4084

Tweak uuid of test fixture so it doesn't match other tests unintentionally. refs #4084

PySDK CollectionReader can get empty collection.

Fixing a regression from refs #3706.

4434: Assume only that if a<b are lowercase ascii, aX<bY for any X, Y, collation.

Merge branch '4084-log-pane-refresh' closes #4084

3400: ArvadosResourceList retains api token that is active when it is created.
Tweaked fetch-multiple-pages loop.  Made #each_page protected.  _paging sets
fetch_multiple_pages(false).

4434: Merge branch 'master' into 4434-collation

3857: implement proxy_timeout

Add proxy_timeout argument to KeepClient.

Default timeouts are:
* timeout = (3, 30)
* proxy_timeout = (20, 60)

Added unit tests to check that KeepClient.get and KeepClient.put use the
default 'timeout' setting when talking directly to a Keep server, and
the 'proxy_timeout' setting when communicating with a proxy.

4084: Add 'arv-log-refresh-control' div to job log pane.  Log scrolling test tests both pipeline_instance and job log panes.

Merge branch '4334-idle-star-is-down' closes #4334

Merge branch '4310-lock-before-fail' closes #4310 (again)

4310: Qualify namespace of AlreadyLockedError

4310: Lock job before changing its state to failed.

3400: Remove ArvadosResourceList#all

Merge branch 'master' into 3177-collection-choose-files

Merge branch '4314-crunch-token-expire' refs #4314 refs #4310

4314: Don't expire the token if the job is still in queued state.

Merge branch '4408-collection-sharing-login-fix-wip'

Closes #4408.

4408: Workbench Collection sharing allows file downloads again.

Earlier we refactored our API token loading code to load User.current
to check that it was valid.  This approach doesn't work when we're
presenting shared Collections, because the token usually won't be
scoped to get user information.  Skip the check for this specific
case.

4334: Convert "idle*" state to "down"

Merge branch '4088-collection-show-files-filter'

Fixes #4088.

Go to next job after fail_job when there is a tag mismatch.  refs #4310

Merge branch '4310-git-tag-race' closes #4310

4310: Remove stderr redirect from git rev-list, add it to git tag.  Prefix log
output with "dispatch: ".  Tweak error message if rev-list fails.

Merge branch '4383-easy-install'

refs #4383

Merge branch 'master' into 4383-easy-install

refs #4383

Another documentation tweak based on review feedback.

closes #4383

Merge branch 'master' into 3177-collection-choose-files

3177: String != 'String'

4310: Fix race condition between testing for tag and setting tag by reversing
order of operations: try to set the tag, and only test for it if there is an
error.

Merge branch '4389-breadcrumbs-infinite-loop' closes #4389