4408: Workbench Collection sharing allows file downloads again.

Earlier we refactored our API token loading code to load User.current
to check that it was valid.  This approach doesn't work when we're
presenting shared Collections, because the token usually won't be
scoped to get user information.  Skip the check for this specific
case.

Merge branch 'origin-3609-arv-run' into master closes #3609

Conflicts:
sdk/cli/bin/arv

Merge branch '4357-node-manager-busy-nodes-wip'

Closes #4357, #4370.

4357: Node Manager boots new nodes when up nodes are busy.

The key part of this commit is the change to _nodes_wanted.
Everything else provides the information to make that calculation.

This changes the daemon test to use real monitor actors, rather than a
mock.  This hurts test isolation a bit, but it's really tricky to mock
individual monitors otherwise.  Because monitors only communicate with
the daemon itself, this seems like a worthwhile trade-off; it doesn't
introduce external dependencies or noticeably increase test time.

Merge branch '4303-crunch-retry-logging-wip'

Closes #4303, #4385.

4303: crunch-job logs when it retries API calls.

Fix `arv keep copy` → `arv copy` wrapper.

No issue #.

3609: Simplify "group" example a bit more.

3609: Further improve documentation and code comments.

3609: Documentation improvements.  More error checking on run-command list function evaluation.

4412: Remaining Ruby clients use :body_object for API requests.

A follow-up from the last commit.  Refs #4412.

4412: arv edit consistently uses :body_object in API requests.

Fixes #4412.

Merge branch '4031-fix-graph-connections' closes #4031

Merge branch '3618-column-ordering' closes #3618

4031: Fix tests.  Move RequestDuck to test_helper.rb so as not to duplicate code.

Update version dependency to ensure CollectionReader has a normalize() method. refs #3706

Merge branch 'master' into 3618-column-ordering

3618: accommodate new fixture indexing in pipeline_instance tests (including run-time=0 test)

3618: accommodate new fixture indexing in pipeline_instance tests

Merge branch '3706-keep-warning' closes #3706

3706: Oops, the test was broken, the feature works fine.

3706: Add (skipped) test for broken max_manifest_depth=0 feature.

4031: Add owner_uuid to graph_test_collection fixtures.

3706: Merge branch 'master' into 3706-keep-warning

Merge remote-tracking branch 'origin/master' into 4031-fix-graph-connections

Conflicts:
services/api/test/fixtures/collections.yml

4031: Improve provenance graph tests for readability, use fixtures instead of
hardcoded hashes.  Improve efficiency of matching collections in search_edges.
Remove spurious debug code.

3706: Remove superfluous conditional.

3706: Add back "collections.get => 404" to "fallback to Keep" test.

The sso server docker image is not used by default at the moment, so
arvdock shouldn't try to start it unless explicitly requested (part 2).

refs #4383

3706: Prefer "is None" and "is not None" to "== None" and "!= None".

3706: Mutating normalize() does not return self.

3706: Process directory trees in sorted() order, instead of the order
returned by os.listdir().

This causes write_directory_tree() to produce a manifest that is
normalized to the greatest extent possible for the given
max_manifest_depth.

4388: Ruby Keep::Manifest skips blank lines in manifests.

Closes #4388.

The sso server docker image is not used by default at the moment, so
arvdock shouldn't try to start it unless explicitly requested.

refs #4383

system_user and anonymous_user should be excluded from
auto_setup_new_user, always.

refs #4383

Enable auto_setup_new_users in the docker API server image.

refs #4383

3618: refactor scroll tests to share code

3706: Clarify test case.

3706: Prefer join() to many string concatenations.

3706: Prefer "if x" to "if len(x) > 0".

3706: Two blank lines after class definition.

3706: Really make the API server return the wrong data, instead of just saying so.

3706: Put --normalize and --max-manifest-depth arguments in a mutually_exclusive_group.

Merge branch '4040-fuse-tests'

Fixes #4040.

3706: normalize() returns None instead of self. Add equally convenient, and more Pythonic, manifest_text(normalize=True) feature.

3609: Correctly recognize and rewrite directory names in collections.

3706: Catch and return exceptions in _populate_* methods to dry up _populate()

4040: code review feedback

* Renamed
** collection_owned_by_fuse_1 -> collection_1_owned_by_fuse
** collection_owned_by_fuse_2 -> collection_2_owned_by_fuse
* Added fixtures pipeline_instance_owned_by_fuse and
  pipeline_instance_in_fuse_project.
* Added name link for the empty collection, to exercise that links are
  exposed in the filesystem in the expected way.

Fix broken link in docs. Duh.

refs #4186

3609: Inherit --retries from _util.  Be more specific about error being caught.  Add comments.

Merge branch '4186-install-doc-improvements-2'

refs #4186

Clean up the installation overview pages a bit more.

refs #4186

Merge branch 'master' into 4186-install-doc-improvements-2

Add keepstore installation page.

refs #4186

Workbench: Change from yui to uglifier to compress javascript in
config/environments/production.rb.example

No issue #

Fix typo.

refs #4186

Keepproxy just needs an anonymous token.

refs #4186

Batch of improvements for the manual installation documentation:

* add prerequisites section
* add shell server section
* add keepproxy section
* many other updates throughout

refs #4186

3618: improve api security for sorting to make sure each column we sort by is for a real table and a real column in the db

3618: make sure something happens if the order param is actually detected as an array

3618: bug fix: was confusing the "desc" meaning a "descending sort" with the "desc" that is the beginning of the column name "description"

Merge branch 'master' into 3618-column-ordering

Conflicts (all resolved including fixes):
apps/workbench/app/controllers/projects_controller.rb
apps/workbench/app/views/projects/_show_jobs_and_pipelines.html.erb
apps/workbench/app/views/projects/_show_tab_contents.html.erb
services/api/app/controllers/arvados/v1/groups_controller.rb

Merge branch '3824-crunch-container-setup' closes #3824

3824: Merge branch 'master' into 3824-crunch-container-setup

3824: Fix comment to state that tasks must not assume $TASK_KEEPMOUNT is /keep.

Fix google-api-client version deps. No issue #

Merge branch '4359-project-paging' closes #4359

Merge branch '4088-filterable-docs' refs #4088

3706: Use normalize() in arv-mount.

3824: Import GPG key needed for RVM installation.

3824: Remove redundant "apt-get update", standardize on "apt-get update -qq" and "apt-get install -qqy".

3824: Set mode on /etc/fuse.conf in compute image.

4307: Workbench: only pipeline components are not editable after start.

This fixes a regression from d7fdbbab.  Closes #4307.

4088: Add usage docs to filterable.js

3824: Bring back $! in error message, in case it's helpful.

3824: Merge branch 'master' into 3824-crunch-container-setup

3824: Use Data::Dumper instead of custom quoting to show srun/task exec args.

4091: Use <=N instead of <N+1. Pass "uuid not in" filter to API instead of adding custom filter params.

4040: clarify variable names

Per code review: give d1, d2, d3 more descriptive variable names.

closes #4091
Merge branch '4091-test-infinite-scrolling'

Merge branch 'master' into 4091-test-infinite-scrolling

4091: set the limit size to 50 for "Jobs and pipelines" tab.

4040: update FUSE driver tests with stable fixtures

Added test fixtures specifically for FUSE driver tests.

Fix Node Manager test bug introduced by last commit.

Bad Brett, only running specific tests.  No issue #.

Fix race condition in Node Manager shutdown tests.

ComputeNodeMonitorActor considers a shutdown when it's initialized.
Blocking on the subscription we send ensures that message is fully
processed before the tests continue.  This is important because
several of them change the shutdown state immediately after, and that
might be seen by the internal shutdown consideration without this.

No issue #, but see
<https://ci.curoverse.com/job/arvados-api-server/1027/console>.

Fix the goldang consarned FUSE tests again.

No issue #, dammit

Merge branch '4088-collection-show-files-filter'

Refs #4088.

4088: filter only on files

Only apply the regex filter to files; continue to process subdirectories
as normal in order to keep the appropriate filename hierarchy.

3618: Make tests pass: bugs were revealed in "Other objects" tab related to there not being any sorting going on there, etc.; add checks for HTML5 history and for nulls and undefineds

4088: fix alignment for right-floating input field

Merge branch 'master' into 3618-column-ordering

3618: store in the browser history state the current sort settings for each tab

Improve config/application.yml.example for the API server and workbench:

* API server: define prefix_uuid in development mode
* workbench: add a production section

No issue #

4088: code review feedback

* Filter files by regex before .take(10000)
* Added "regular expression" placeholder in the filter input box
* Issue a Rails "alert" div if the regex could not be parsed
* Test that we're actually viewing a collection when no matches are
  found (and not a fiddlesticks page or something)

4031: Test for collection provenance/used_by

4031: Find for collection dependencies even in the middle of script parameter
fields.  Server side collections with same PDH into a single entry with a
special name.  Fix node descriptions, hyperlinks.  More options to eliminate
certain node types for certain graphs to make them easier to read.  Handle both
PDH and UUID when identifying collections.

Fix off-by-one error in Node Manager server calculations.

This bug prevented Node Manager from starting nodes for a job that
requested a number of nodes equal to the daemon's max_nodes setting.
No issue #.

4091: update jobs fixture to set same created_at timestamp for some of the jobs.

4091: enhance code to handle the case where there are more than one item in the next page matching the previous page's last object's created_at time.
Also, handle the case where the entire next page has the same created_at time as the previous page's last item; to keep things simple, stop scrolling in this case.

4088: filter collection file view by regex

Added a "Filter" field for supplying a regular expression to filter
filenames. Updated integration tests.