Merge branch '3603-pysdk-file-api-wip'

Refs #3603.  Closes #4316.

3603: PySDK Collection objects support file-like APIs.

This commit adds an open() method to CollectionReader and
CollectionWriter.  They mimic the built-in open(), returning objects
that implement as much as the Python file API as I can reasonably
manage.

There are a couple of backwards-incompatible changes to
StreamFileReader here:

* seek() now defaults to SEEK_CUR rather than SEEK_SET behavior.
* readlines() returns a list, and no longer supports decompression.

These changes bring the object closer to a file-like object.  We
reviewed our existing Python code, including known Crunch scripts from
users.  Nobody was using seek(), and nobody was obviously relying on
the decompression behavior of readlines().  So we believe this is
reasonably safe.

(Contrast name(), which lots of things are using, so we provide a
backward compatibility shim for it.)

3603: Clean up PySDK imports.

Sort; remove unused imports.

3603: Fix context methods for PySDK Collection objects.

Fix broken doc link.

refs #4486

Merge branch '4486-document-arv'

refs #4486

Remove trailing whitespace.

refs #4486

Merge branch 'master' into 4486-document-arv

refs #4486

Add TCPKeepAlive and ServerAliveInterval ssh options to the .ssh/config
snippet that Workbench suggests.

no issue #

Add some basic documentation for the arv subcommands.

refs #4486

Merge branch '4294-node-manager-min-nodes'

Fixes #4294.

Merge branch '3857-python-sdk-timeouts'

Fixes #3857.

3857: fixed comment

4294: additional unit tests

test_server_calc_returns_min_nodes_for_one_job
* Ensures that the @ServerCalculator@ still returns a wishlist with
_min_nodes_ when there is a job in the queue.

test_server_calc_more_jobs_than_min_nodes
* Tests that when the job queue has between _min_nodes_ and _max_nodes_ in
it, @ServerCalculator@ returns a wishlist exactly as long as the job
queue.

4294: code review feedback

* Added min_nodes to sample config files
* Renamed idle_nodes to needed_nodes

3857: fixed import order. d'oh

3857: code review feedback

* Set default timeouts to (20, 300) for proxies and (2, 300) for all
  else.
* KeepService:
** Removed unused 'timeout' argument to __init__()
** Trimmed unnecessary exceptions in last_status()
* Tests:
** test_collections.py: changed mock_api_call return value back to
   fake_httplib2_response
** Flattened test layers to eliminate KeepClientRetryGetTestMixin and
   KeepClientRetryPutTestMixin
** Moved proxy timeout tests to
   KeepClientServiceTestCase.test_proxy_get_request and
   .test_proxy_put_request
* Removed excess blank lines in docstrings

4294: added min_nodes config parameter

Added min_nodes configuration setting.  The job queue will return a
wishlist with at least min_nodes elements in it, and the node manager
daemon will avoid shutting down a node if it would bring the total below
min_nodes.

* arvnodeman.config sets default min_nodes to 0.
* NodeManagerDaemonActor:
** _nodes_wanted returns at least enough to keep the node count above
   min_nodes
** _nodes_excess will not allow the node count to drop below min_nodes
* jobqueue.ServerCalculator.servers_for_queue returns a list with at least
  min_nodes elements
* added test cases:
** NodeManagerDaemonActorTestCase.test_shutdown_declined_below_min_nodes
** ServerCalculatorTestCase.test_server_calc_returns_at_least_min_nodes

Expand websocket config comments. refs #4233

Explicitly list the URL that get.arvados.org redirects to, for those
folks who would like to read the install script before executing it.

No issue #

Python run_test_server runs websockets separately non-SSL for compatibility
with default application.yml.default.  refs #4084

Tweak uuid of test fixture so it doesn't match other tests unintentionally. refs #4084

PySDK CollectionReader can get empty collection.

Fixing a regression from refs #3706.

Merge branch '4084-log-pane-refresh' closes #4084

3857: implement proxy_timeout

Add proxy_timeout argument to KeepClient.

Default timeouts are:
* timeout = (3, 30)
* proxy_timeout = (20, 60)

Added unit tests to check that KeepClient.get and KeepClient.put use the
default 'timeout' setting when talking directly to a Keep server, and
the 'proxy_timeout' setting when communicating with a proxy.

4084: Add 'arv-log-refresh-control' div to job log pane.  Log scrolling test tests both pipeline_instance and job log panes.

Merge branch '4334-idle-star-is-down' closes #4334

Merge branch '4310-lock-before-fail' closes #4310 (again)

4310: Qualify namespace of AlreadyLockedError

4310: Lock job before changing its state to failed.

Merge branch '4314-crunch-token-expire' refs #4314 refs #4310

4314: Don't expire the token if the job is still in queued state.

Merge branch '4408-collection-sharing-login-fix-wip'

Closes #4408.

4408: Workbench Collection sharing allows file downloads again.

Earlier we refactored our API token loading code to load User.current
to check that it was valid.  This approach doesn't work when we're
presenting shared Collections, because the token usually won't be
scoped to get user information.  Skip the check for this specific
case.

4334: Convert "idle*" state to "down"

Merge branch '4088-collection-show-files-filter'

Fixes #4088.

Go to next job after fail_job when there is a tag mismatch.  refs #4310

Merge branch '4310-git-tag-race' closes #4310

4310: Remove stderr redirect from git rev-list, add it to git tag.  Prefix log
output with "dispatch: ".  Tweak error message if rev-list fails.

Merge branch '4383-easy-install'

refs #4383

Merge branch 'master' into 4383-easy-install

refs #4383

Another documentation tweak based on review feedback.

closes #4383

4310: Fix race condition between testing for tag and setting tag by reversing
order of operations: try to set the tag, and only test for it if there is an
error.

Merge branch '4389-breadcrumbs-infinite-loop' closes #4389

Install instructions: be a bit more explicit that arvdock is downloaded
and saved in the current working directory.

refs #4383

4084: Fix wrong state name: jobs are Running, pipelines are RunningOn[...].

Merge branch 'master' into 4383-easy-install

refs #4383

Only try to install .config/arvados/settings.conf if we have a token to
put in there.

refs #4383

4088: code review feedback

* Modified styling for "Select all" and "Unselect all"
* "filename filter" -> "filename regex"
* Changed refutations to assertions to avoid running afoul of AJAX race
  conditions
* Refactored checkbox assertions into a helper

4389: Merge branch 'master' into 4389-breadcrumbs-infinite-loop

4084: Update views that were still using pane-anchor.

add 'arv-run' to setup.py refs #3609

Add more tests so that we cover all possible combinations of the
auto_admin_first_user and auto_admin_user configuration settings.

refs #4383

Update the behavior of the auto_admin_user configuration field a bit to
make it more intuitive: the first user created with an e-mail address
that matches auto_admin_user will now become admin, regardless of the
presence of other admin users. Any subsequent accounts created with that
e-mail address will no longer become admin.

refs #4383

3857: replaced httplib2 with 'requests'

Replaced httplib2 with the 'requests' library in modules that use it to
call Keep:
* arvados.collection
* arvados.keep
* arvados.retry
* arvados.stream

Updated unit tests and mocks appropriately.

4389: Add test.

Merge branch 'origin-3609-arv-run' into master closes #3609

Conflicts:
sdk/cli/bin/arv

Merge branch '4357-node-manager-busy-nodes-wip'

Closes #4357, #4370.

4357: Node Manager boots new nodes when up nodes are busy.

The key part of this commit is the change to _nodes_wanted.
Everything else provides the information to make that calculation.

This changes the daemon test to use real monitor actors, rather than a
mock.  This hurts test isolation a bit, but it's really tricky to mock
individual monitors otherwise.  Because monitors only communicate with
the daemon itself, this seems like a worthwhile trade-off; it doesn't
introduce external dependencies or noticeably increase test time.

4389: Merge branch 'master' into 4389-breadcrumbs-infinite-loop

Merge branch '4303-crunch-retry-logging-wip'

Closes #4303, #4385.

4303: crunch-job logs when it retries API calls.

Fix `arv keep copy` → `arv copy` wrapper.

No issue #.

Merge branch 'master' into 4383-easy-install

Conflicts:
docker/api/application.yml.in

refs #4383

Add unit tests for new auto_admin_first_user configuration setting.

refs #4383

4084: Add comment.

4084: Fix dashboard refresh.

4084: Remove excess loaded class.

4084: Update comments.

4084: Ignore bubbling arv-log-event events, just process each once at the original target.

4084: Merge branch 'master' into 4084-log-pane-refresh-TC

Conflicts:
services/api/test/fixtures/jobs.yml

4084: Use assert_text, not assert page_has_text?, to make tests reliable.

4084: Skip the "inactive pane" optimization when the div is not a tab pane.

Content divs that are _not_ tabbed panes no longer need to remember to
add an "active" flag.

4084: Fix up whitespace (4-space indent, like the other *.js)

3609: Simplify "group" example a bit more.

3609: Further improve documentation and code comments.

4084: Move all pane state into $pane, flatten panes with multiple entry points.

3609: Documentation improvements.  More error checking on run-command list function evaluation.

4389: Add debugging tools to dev bundle.

4389: Fix infinite loop when ownership trail terminates at a self-owning user.

4412: Remaining Ruby clients use :body_object for API requests.

A follow-up from the last commit.  Refs #4412.

4412: arv edit consistently uses :body_object in API requests.

Fixes #4412.

Merge branch '4031-fix-graph-connections' closes #4031

4084: Remove "no-auto-reload" css class hint, tabs no longer reload on click by
default so it is not necessary to have a class to suppress that behavior.

Merge branch '3618-column-ordering' closes #3618

4031: Fix tests.  Move RequestDuck to test_helper.rb so as not to duplicate code.

Update version dependency to ensure CollectionReader has a normalize() method. refs #3706

Merge branch 'master' into 3618-column-ordering

3618: accommodate new fixture indexing in pipeline_instance tests (including run-time=0 test)

3618: accommodate new fixture indexing in pipeline_instance tests

When auto_admin_first_user is set to true (default false), the first
user to sign in on a new installation will be an admin.

refs #4383

Merge branch '3706-keep-warning' closes #3706

3706: Oops, the test was broken, the feature works fine.

3706: Add (skipped) test for broken max_manifest_depth=0 feature.

4084: Only load tab on switch if it doesn't have "pane-loaded" class.  Increase
default throttle to 15 sec instead of 3 (but refresh panels can set their own
throttle time.)

4031: Add owner_uuid to graph_test_collection fixtures.

3706: Merge branch 'master' into 3706-keep-warning

Merge remote-tracking branch 'origin/master' into 4031-fix-graph-connections

Conflicts:
services/api/test/fixtures/collections.yml

4031: Improve provenance graph tests for readability, use fixtures instead of
hardcoded hashes.  Improve efficiency of matching collections in search_edges.
Remove spurious debug code.

3706: Remove superfluous conditional.