Merge branch 'master' into 4024-pipeline-instances-scroll

Merge branch '4024-pipeline-instances-scroll' of git.curoverse.com:arvados into 4024-pipeline-instances-scroll

Make our dynamic dns update system for compute nodes more generic.

refs #4461

Fix sdk/go/keepclient test race condition

This closes #4395

3400: Do not fetch API results just for the sake of looking up resource_class.

4024: @limit override must happen before find_objects_for_index.

3400: Do not fetch_multiple_pages in #index actions.

4024: Merge branch '4388-workbench-update' into 4024-pipeline-instances-scroll

4024: Merge branch 'master' into 4024-pipeline-instances-scroll

4388: Fix typo

4388: Update bundle

4388: Fix javascript errors.

Relax activesupport dependency to accommodate 4.x. refs #4388

Merge branch 'master' into 4024-pipeline-instances-scroll

4024: Use filterable-control input values (if any) when first loading dynamic content.

closes #3177
Merge branch '3177-collection-choose-files'

3177: use no left padding when collection files preview panel is used in file chooser dialog.

Merge branch 'master' into 3177-collection-choose-files

4024: Add test for double-load bug.

4024: Remove unused /pipeline_instances/?search=x support.

Merge branch '2853-rendezvous' closes #2853

2853: Merge branch 'master' into 2853-rendezvous

Merge branch '4027-api-sdk-version-wip'

Refs #4027.  Closes #4489.

4027: Add arvados_sdk_version runtime constraint to API server.

Crunch will use this information to provide a specific SDK version in
the runtime environment.

3177: update test to select row in preview panel

Merge branch 'master' into 3177-collection-choose-files

3177: file selection

2853: Use mock from KeepClientServiceTestCase for rendezvous tests
instead of intruding on KeepClient's private instance variables.

Update arv-tag --help text in arv subcommands documentation.

refs #4486

Make arv-tag print usage when --help is given. Also, fix typo in usage lines.

No issue #

Remove some redundant lines from sdk/bin/arv

No issue #

2853: Avoid using reserved word "hash" as a variable name.

2853: Fix reference to reference set.

2853: Use Md5String() in getWeight().

2853: Remove redundant test case.

Merge branch '3609-run-command-bugfix'

Refs #3609.

3609: fix "NameError: name 'rcode' is not defined"

If run-command raises an exception in the main 'try' loop before any
subprocesses have run, rcode will not be defined and "not any([status !=
0 for status in rcode.values()])" will raise a confusing "NameError:
name 'rcode' is not defined" exception.

Solution is to define rcode before the try/except block and to make sure
'success' is False if rcode is completely empty.

Merge branch 'master' into 3177-collection-choose-files

Conflicts:
apps/workbench/app/views/collections/_choose_rows.html.erb

3177: in file chooser mode, allow row selection

2853: Merge branch 'master' into 2853-rendezvous

Conflicts:
sdk/python/arvados/keep.py

Merge branch '4380-node-manager-computenode-reorg-wip'

Refs #4380.  Closes #4496.

4380: Reorganize arvnodeman.computenode.

This makes the hierarchy a little richer:

* arvnodeman.computenode.driver has all the cloud driver wrappers.
* arvnodeman.computenode.dispatch will be just like that, except it
  will consider local dispatch concerns.  For example, I'm going to
  add a SLURM submodule here to take care of draining.
* arvnodeman.computenode still has utility functions and
  ShutdownTimer.

Merge branch '4434-collation' closes #4434

Merge branch '3400-workbench-all-items' closes #3400

Merge branch 'master' into 3400-workbench-all-items

3400: test limit between server maxpagesize and 2x server maxpagesize.

Conflicts:
apps/workbench/test/unit/arvados_resource_list_test.rb

Merge branch 'master' into 3177-collection-choose-files

Bugfix bad exception name in PySDK util.is_hex.

No issue #.

Merge branch 'master' into 4024-pipeline-instances-scroll

4024: move the search box to the top

Merge branch '4024-pipeline-instances-scroll' of git.curoverse.com:arvados into 4024-pipeline-instances-scroll

3400: Stub out obsolete #links_for and remove result_links and related test.
Set @result_limit and @result_offset to nil unless @fetch_multiple_pages ==
false.  Add test for limit > default page size.

Merge branch '3857-python-sdk-timeout-bugfix'

Fixes #3857.

3857: fix python-requests dependency

Multiple timeout support in python-requests is only supported in
versions 2.4.0 or later.

Merge branch '3603-pysdk-file-api-wip'

Refs #3603.  Closes #4316.

3603: PySDK Collection objects support file-like APIs.

This commit adds an open() method to CollectionReader and
CollectionWriter.  They mimic the built-in open(), returning objects
that implement as much as the Python file API as I can reasonably
manage.

There are a couple of backwards-incompatible changes to
StreamFileReader here:

* seek() now defaults to SEEK_CUR rather than SEEK_SET behavior.
* readlines() returns a list, and no longer supports decompression.

These changes bring the object closer to a file-like object.  We
reviewed our existing Python code, including known Crunch scripts from
users.  Nobody was using seek(), and nobody was obviously relying on
the decompression behavior of readlines().  So we believe this is
reasonably safe.

(Contrast name(), which lots of things are using, so we provide a
backward compatibility shim for it.)

3603: Clean up PySDK imports.

Sort; remove unused imports.

3603: Fix context methods for PySDK Collection objects.

Merge branch 'master' into 3177-collection-choose-files

4024: Fix "compare pipelines" button.

Fix broken doc link.

refs #4486

Merge branch '4486-document-arv'

refs #4486

Remove trailing whitespace.

refs #4486

Merge branch 'master' into 4486-document-arv

refs #4486

Add TCPKeepAlive and ServerAliveInterval ssh options to the .ssh/config
snippet that Workbench suggests.

no issue #

Add some basic documentation for the arv subcommands.

refs #4486

2853: Remove shuffledServiceRoots() wrapper.

Merge branch '4294-node-manager-min-nodes'

Fixes #4294.

2853: Add comment.

Merge branch '3857-python-sdk-timeouts'

Fixes #3857.

3857: fixed comment

2853: Use the same keep_service UUIDs so tests behave reliably.

4294: additional unit tests

test_server_calc_returns_min_nodes_for_one_job
* Ensures that the @ServerCalculator@ still returns a wishlist with
_min_nodes_ when there is a job in the queue.

test_server_calc_more_jobs_than_min_nodes
* Tests that when the job queue has between _min_nodes_ and _max_nodes_ in
it, @ServerCalculator@ returns a wishlist exactly as long as the job
queue.

4294: code review feedback

* Added min_nodes to sample config files
* Renamed idle_nodes to needed_nodes

3857: fixed import order. d'oh

3857: code review feedback

* Set default timeouts to (20, 300) for proxies and (2, 300) for all
  else.
* KeepService:
** Removed unused 'timeout' argument to __init__()
** Trimmed unnecessary exceptions in last_status()
* Tests:
** test_collections.py: changed mock_api_call return value back to
   fake_httplib2_response
** Flattened test layers to eliminate KeepClientRetryGetTestMixin and
   KeepClientRetryPutTestMixin
** Moved proxy timeout tests to
   KeepClientServiceTestCase.test_proxy_get_request and
   .test_proxy_put_request
* Removed excess blank lines in docstrings

2853: Update tests to survive ServiceRoots being a map[string]string.

2853: Add tests for reference set and some edge cases.

2853: Add "reference set" test to check probe order agreement between implementations.

2853: Fix instance ID in test fixture hostnames. Clean up brittle tests.

2853: Use rendezvous hashing to select probe order in Python library.

2853: Use rendezvous hashing to select probe order.

4434: use select! instead of &= to preserve duplicates.

4294: added min_nodes config parameter

Added min_nodes configuration setting.  The job queue will return a
wishlist with at least min_nodes elements in it, and the node manager
daemon will avoid shutting down a node if it would bring the total below
min_nodes.

* arvnodeman.config sets default min_nodes to 0.
* NodeManagerDaemonActor:
** _nodes_wanted returns at least enough to keep the node count above
   min_nodes
** _nodes_excess will not allow the node count to drop below min_nodes
* jobqueue.ServerCalculator.servers_for_queue returns a list with at least
  min_nodes elements
* added test cases:
** NodeManagerDaemonActorTestCase.test_shutdown_declined_below_min_nodes
** ServerCalculatorTestCase.test_server_calc_returns_at_least_min_nodes

Expand websocket config comments. refs #4233

Merge branch 'master' into 3177-collection-choose-files

Merge branch 'master' into 4024-pipeline-instances-scroll

Explicitly list the URL that get.arvados.org redirects to, for those
folks who would like to read the install script before executing it.

No issue #

Python run_test_server runs websockets separately non-SSL for compatibility
with default application.yml.default.  refs #4084

Merge branch 'master' into 4024-pipeline-instances-scroll

4024: simplify search box

4024: rearrange partial handling

4024: scrolling + search works now that filters are included in next page href.

4024: Test that items_available takes filters into account.

4024: comment out code that disables scrolling when search is used.

Tweak uuid of test fixture so it doesn't match other tests unintentionally. refs #4084

PySDK CollectionReader can get empty collection.

Fixing a regression from refs #3706.

4434: Assume only that if a<b are lowercase ascii, aX<bY for any X, Y, collation.

Merge branch '4084-log-pane-refresh' closes #4084

3400: ArvadosResourceList retains api token that is active when it is created.
Tweaked fetch-multiple-pages loop.  Made #each_page protected.  _paging sets
fetch_multiple_pages(false).