Merge branch 'master' into 3177-collection-choose-files

Conflicts:
apps/workbench/app/views/collections/_choose_rows.html.erb

3177: in file chooser mode, allow row selection

Merge branch '4380-node-manager-computenode-reorg-wip'

Refs #4380.  Closes #4496.

4380: Reorganize arvnodeman.computenode.

This makes the hierarchy a little richer:

* arvnodeman.computenode.driver has all the cloud driver wrappers.
* arvnodeman.computenode.dispatch will be just like that, except it
  will consider local dispatch concerns.  For example, I'm going to
  add a SLURM submodule here to take care of draining.
* arvnodeman.computenode still has utility functions and
  ShutdownTimer.

Merge branch '4434-collation' closes #4434

Merge branch '3400-workbench-all-items' closes #3400

Merge branch 'master' into 3400-workbench-all-items

3400: test limit between server maxpagesize and 2x server maxpagesize.

Conflicts:
apps/workbench/test/unit/arvados_resource_list_test.rb

Merge branch 'master' into 3177-collection-choose-files

Bugfix bad exception name in PySDK util.is_hex.

No issue #.

3400: Stub out obsolete #links_for and remove result_links and related test.
Set @result_limit and @result_offset to nil unless @fetch_multiple_pages ==
false.  Add test for limit > default page size.

Merge branch '3857-python-sdk-timeout-bugfix'

Fixes #3857.

3857: fix python-requests dependency

Multiple timeout support in python-requests is only supported in
versions 2.4.0 or later.

Merge branch '3603-pysdk-file-api-wip'

Refs #3603.  Closes #4316.

3603: PySDK Collection objects support file-like APIs.

This commit adds an open() method to CollectionReader and
CollectionWriter.  They mimic the built-in open(), returning objects
that implement as much as the Python file API as I can reasonably
manage.

There are a couple of backwards-incompatible changes to
StreamFileReader here:

* seek() now defaults to SEEK_CUR rather than SEEK_SET behavior.
* readlines() returns a list, and no longer supports decompression.

These changes bring the object closer to a file-like object.  We
reviewed our existing Python code, including known Crunch scripts from
users.  Nobody was using seek(), and nobody was obviously relying on
the decompression behavior of readlines().  So we believe this is
reasonably safe.

(Contrast name(), which lots of things are using, so we provide a
backward compatibility shim for it.)

3603: Clean up PySDK imports.

Sort; remove unused imports.

3603: Fix context methods for PySDK Collection objects.

Merge branch 'master' into 3177-collection-choose-files

Fix broken doc link.

refs #4486

Merge branch '4486-document-arv'

refs #4486

Remove trailing whitespace.

refs #4486

Merge branch 'master' into 4486-document-arv

refs #4486

Add TCPKeepAlive and ServerAliveInterval ssh options to the .ssh/config
snippet that Workbench suggests.

no issue #

Add some basic documentation for the arv subcommands.

refs #4486

Merge branch '4294-node-manager-min-nodes'

Fixes #4294.

Merge branch '3857-python-sdk-timeouts'

Fixes #3857.

3857: fixed comment

4294: additional unit tests

test_server_calc_returns_min_nodes_for_one_job
* Ensures that the @ServerCalculator@ still returns a wishlist with
_min_nodes_ when there is a job in the queue.

test_server_calc_more_jobs_than_min_nodes
* Tests that when the job queue has between _min_nodes_ and _max_nodes_ in
it, @ServerCalculator@ returns a wishlist exactly as long as the job
queue.

4294: code review feedback

* Added min_nodes to sample config files
* Renamed idle_nodes to needed_nodes

3857: fixed import order. d'oh

3857: code review feedback

* Set default timeouts to (20, 300) for proxies and (2, 300) for all
  else.
* KeepService:
** Removed unused 'timeout' argument to __init__()
** Trimmed unnecessary exceptions in last_status()
* Tests:
** test_collections.py: changed mock_api_call return value back to
   fake_httplib2_response
** Flattened test layers to eliminate KeepClientRetryGetTestMixin and
   KeepClientRetryPutTestMixin
** Moved proxy timeout tests to
   KeepClientServiceTestCase.test_proxy_get_request and
   .test_proxy_put_request
* Removed excess blank lines in docstrings

4434: use select! instead of &= to preserve duplicates.

4294: added min_nodes config parameter

Added min_nodes configuration setting.  The job queue will return a
wishlist with at least min_nodes elements in it, and the node manager
daemon will avoid shutting down a node if it would bring the total below
min_nodes.

* arvnodeman.config sets default min_nodes to 0.
* NodeManagerDaemonActor:
** _nodes_wanted returns at least enough to keep the node count above
   min_nodes
** _nodes_excess will not allow the node count to drop below min_nodes
* jobqueue.ServerCalculator.servers_for_queue returns a list with at least
  min_nodes elements
* added test cases:
** NodeManagerDaemonActorTestCase.test_shutdown_declined_below_min_nodes
** ServerCalculatorTestCase.test_server_calc_returns_at_least_min_nodes

Expand websocket config comments. refs #4233

Merge branch 'master' into 3177-collection-choose-files

Explicitly list the URL that get.arvados.org redirects to, for those
folks who would like to read the install script before executing it.

No issue #

Python run_test_server runs websockets separately non-SSL for compatibility
with default application.yml.default.  refs #4084

Tweak uuid of test fixture so it doesn't match other tests unintentionally. refs #4084

PySDK CollectionReader can get empty collection.

Fixing a regression from refs #3706.

4434: Assume only that if a<b are lowercase ascii, aX<bY for any X, Y, collation.

Merge branch '4084-log-pane-refresh' closes #4084

3400: ArvadosResourceList retains api token that is active when it is created.
Tweaked fetch-multiple-pages loop.  Made #each_page protected.  _paging sets
fetch_multiple_pages(false).

4434: Merge branch 'master' into 4434-collation

3857: implement proxy_timeout

Add proxy_timeout argument to KeepClient.

Default timeouts are:
* timeout = (3, 30)
* proxy_timeout = (20, 60)

Added unit tests to check that KeepClient.get and KeepClient.put use the
default 'timeout' setting when talking directly to a Keep server, and
the 'proxy_timeout' setting when communicating with a proxy.

4084: Add 'arv-log-refresh-control' div to job log pane.  Log scrolling test tests both pipeline_instance and job log panes.

Merge branch '4334-idle-star-is-down' closes #4334

Merge branch '4310-lock-before-fail' closes #4310 (again)

4310: Qualify namespace of AlreadyLockedError

4310: Lock job before changing its state to failed.

3400: Remove ArvadosResourceList#all

Merge branch 'master' into 3177-collection-choose-files

Merge branch '4314-crunch-token-expire' refs #4314 refs #4310

4314: Don't expire the token if the job is still in queued state.

Merge branch '4408-collection-sharing-login-fix-wip'

Closes #4408.

4408: Workbench Collection sharing allows file downloads again.

Earlier we refactored our API token loading code to load User.current
to check that it was valid.  This approach doesn't work when we're
presenting shared Collections, because the token usually won't be
scoped to get user information.  Skip the check for this specific
case.

4334: Convert "idle*" state to "down"

Merge branch '4088-collection-show-files-filter'

Fixes #4088.

Go to next job after fail_job when there is a tag mismatch.  refs #4310

Merge branch '4310-git-tag-race' closes #4310

4310: Remove stderr redirect from git rev-list, add it to git tag.  Prefix log
output with "dispatch: ".  Tweak error message if rev-list fails.

Merge branch '4383-easy-install'

refs #4383

Merge branch 'master' into 4383-easy-install

refs #4383

Another documentation tweak based on review feedback.

closes #4383

Merge branch 'master' into 3177-collection-choose-files

3177: String != 'String'

4310: Fix race condition between testing for tag and setting tag by reversing
order of operations: try to set the tag, and only test for it if there is an
error.

Merge branch '4389-breadcrumbs-infinite-loop' closes #4389

Install instructions: be a bit more explicit that arvdock is downloaded
and saved in the current working directory.

refs #4383

4084: Fix wrong state name: jobs are Running, pipelines are RunningOn[...].

Merge branch 'master' into 4383-easy-install

refs #4383

Only try to install .config/arvados/settings.conf if we have a token to
put in there.

refs #4383

4088: code review feedback

* Modified styling for "Select all" and "Unselect all"
* "filename filter" -> "filename regex"
* Changed refutations to assertions to avoid running afoul of AJAX race
  conditions
* Refactored checkbox assertions into a helper

4389: Merge branch 'master' into 4389-breadcrumbs-infinite-loop

4084: Update views that were still using pane-anchor.

3177: try to partition input selection only if it is a string

add 'arv-run' to setup.py refs #3609

Add more tests so that we cover all possible combinations of the
auto_admin_first_user and auto_admin_user configuration settings.

refs #4383

Update the behavior of the auto_admin_user configuration field a bit to
make it more intuitive: the first user created with an e-mail address
that matches auto_admin_user will now become admin, regardless of the
presence of other admin users. Any subsequent accounts created with that
e-mail address will no longer become admin.

refs #4383

3177: trailing white space

3177: add tests for a template that uses dataclass = File

3177: store input pdh value even when input dataclass is File. Update two tests to no longer look for clippy.

3177: restrict only one file selection in collection chooser; remove clippy; clear selections on load.

3177: propagate checkbox selection param when dataclass is File.

3857: replaced httplib2 with 'requests'

Replaced httplib2 with the 'requests' library in modules that use it to
call Keep:
* arvados.collection
* arvados.keep
* arvados.retry
* arvados.stream

Updated unit tests and mocks appropriately.

4389: Add test.

3400: Too much code that assumes it can call .first over and over without
incurring an API call each time (silly).

3400: ArvadosResourceList returns all items (paging as necessary) unless limit() is specified.
* ArvadosResourceList#each returns results incrementally.  ArvadosResourceList#all (or ArvadosResourceList#results) prefetches the entire list.
* Added tests.  Fixed tests.
* Removed hardcoded limit() in cases where it was apparent that it was being used as a workaround for the paging problem.
* Removed obsolete name_link code (including CollectionsController#choose override) that was causing tests to fail.

Merge branch 'master' into 3177-collection-choose-files

Merge branch 'origin-3609-arv-run' into master closes #3609

Conflicts:
sdk/cli/bin/arv

Merge branch '4357-node-manager-busy-nodes-wip'

Closes #4357, #4370.

4357: Node Manager boots new nodes when up nodes are busy.

The key part of this commit is the change to _nodes_wanted.
Everything else provides the information to make that calculation.

This changes the daemon test to use real monitor actors, rather than a
mock.  This hurts test isolation a bit, but it's really tricky to mock
individual monitors otherwise.  Because monitors only communicate with
the daemon itself, this seems like a worthwhile trade-off; it doesn't
introduce external dependencies or noticeably increase test time.

Merge branch 'master' into 3177-collection-choose-files

3177: look for checked persistent selections on submit.

4389: Merge branch 'master' into 4389-breadcrumbs-infinite-loop

4434: Test whether sort order matches application locale, instead of testing a locale-dependent collation rule.

Merge branch '4303-crunch-retry-logging-wip'

Closes #4303, #4385.

4303: crunch-job logs when it retries API calls.

Fix `arv keep copy` → `arv copy` wrapper.

No issue #.

Merge branch 'master' into 4383-easy-install

Conflicts:
docker/api/application.yml.in

refs #4383

Add unit tests for new auto_admin_first_user configuration setting.

refs #4383