Merge branch '4310-lock-before-fail' closes #4310 (again)

4310: Qualify namespace of AlreadyLockedError

4310: Lock job before changing its state to failed.

Merge branch '4314-crunch-token-expire' refs #4314 refs #4310

4314: Don't expire the token if the job is still in queued state.

Merge branch '4408-collection-sharing-login-fix-wip'

Closes #4408.

4408: Workbench Collection sharing allows file downloads again.

Earlier we refactored our API token loading code to load User.current
to check that it was valid.  This approach doesn't work when we're
presenting shared Collections, because the token usually won't be
scoped to get user information.  Skip the check for this specific
case.

Merge branch '4088-collection-show-files-filter'

Fixes #4088.

Go to next job after fail_job when there is a tag mismatch.  refs #4310

Merge branch '4310-git-tag-race' closes #4310

4310: Remove stderr redirect from git rev-list, add it to git tag.  Prefix log
output with "dispatch: ".  Tweak error message if rev-list fails.

Merge branch '4383-easy-install'

refs #4383

Merge branch 'master' into 4383-easy-install

refs #4383

Another documentation tweak based on review feedback.

closes #4383

4310: Fix race condition between testing for tag and setting tag by reversing
order of operations: try to set the tag, and only test for it if there is an
error.

Merge branch '4389-breadcrumbs-infinite-loop' closes #4389

Install instructions: be a bit more explicit that arvdock is downloaded
and saved in the current working directory.

refs #4383

Merge branch 'master' into 4383-easy-install

refs #4383

Only try to install .config/arvados/settings.conf if we have a token to
put in there.

refs #4383

4088: code review feedback

* Modified styling for "Select all" and "Unselect all"
* "filename filter" -> "filename regex"
* Changed refutations to assertions to avoid running afoul of AJAX race
  conditions
* Refactored checkbox assertions into a helper

4389: Merge branch 'master' into 4389-breadcrumbs-infinite-loop

add 'arv-run' to setup.py refs #3609

Add more tests so that we cover all possible combinations of the
auto_admin_first_user and auto_admin_user configuration settings.

refs #4383

Update the behavior of the auto_admin_user configuration field a bit to
make it more intuitive: the first user created with an e-mail address
that matches auto_admin_user will now become admin, regardless of the
presence of other admin users. Any subsequent accounts created with that
e-mail address will no longer become admin.

refs #4383

4389: Add test.

Merge branch 'origin-3609-arv-run' into master closes #3609

Conflicts:
sdk/cli/bin/arv

Merge branch '4357-node-manager-busy-nodes-wip'

Closes #4357, #4370.

4357: Node Manager boots new nodes when up nodes are busy.

The key part of this commit is the change to _nodes_wanted.
Everything else provides the information to make that calculation.

This changes the daemon test to use real monitor actors, rather than a
mock.  This hurts test isolation a bit, but it's really tricky to mock
individual monitors otherwise.  Because monitors only communicate with
the daemon itself, this seems like a worthwhile trade-off; it doesn't
introduce external dependencies or noticeably increase test time.

4389: Merge branch 'master' into 4389-breadcrumbs-infinite-loop

Merge branch '4303-crunch-retry-logging-wip'

Closes #4303, #4385.

4303: crunch-job logs when it retries API calls.

Fix `arv keep copy` → `arv copy` wrapper.

No issue #.

Merge branch 'master' into 4383-easy-install

Conflicts:
docker/api/application.yml.in

refs #4383

Add unit tests for new auto_admin_first_user configuration setting.

refs #4383

3609: Simplify "group" example a bit more.

3609: Further improve documentation and code comments.

3609: Documentation improvements.  More error checking on run-command list function evaluation.

4389: Add debugging tools to dev bundle.

4389: Fix infinite loop when ownership trail terminates at a self-owning user.

4412: Remaining Ruby clients use :body_object for API requests.

A follow-up from the last commit.  Refs #4412.

4412: arv edit consistently uses :body_object in API requests.

Fixes #4412.

Merge branch '4031-fix-graph-connections' closes #4031

Merge branch '3618-column-ordering' closes #3618

4031: Fix tests.  Move RequestDuck to test_helper.rb so as not to duplicate code.

Update version dependency to ensure CollectionReader has a normalize() method. refs #3706

Merge branch 'master' into 3618-column-ordering

3618: accommodate new fixture indexing in pipeline_instance tests (including run-time=0 test)

3618: accommodate new fixture indexing in pipeline_instance tests

When auto_admin_first_user is set to true (default false), the first
user to sign in on a new installation will be an admin.

refs #4383

Merge branch '3706-keep-warning' closes #3706

3706: Oops, the test was broken, the feature works fine.

3706: Add (skipped) test for broken max_manifest_depth=0 feature.

4031: Add owner_uuid to graph_test_collection fixtures.

3706: Merge branch 'master' into 3706-keep-warning

Merge remote-tracking branch 'origin/master' into 4031-fix-graph-connections

Conflicts:
services/api/test/fixtures/collections.yml

4031: Improve provenance graph tests for readability, use fixtures instead of
hardcoded hashes.  Improve efficiency of matching collections in search_edges.
Remove spurious debug code.

3706: Remove superfluous conditional.

3706: Add back "collections.get => 404" to "fallback to Keep" test.

The sso server docker image is not used by default at the moment, so
arvdock shouldn't try to start it unless explicitly requested (part 2).

refs #4383

The sso server docker image is not used by default at the moment, so
arvdock shouldn't try to start it unless explicitly requested (part 2).

refs #4383

3706: Prefer "is None" and "is not None" to "== None" and "!= None".

3706: Mutating normalize() does not return self.

3706: Process directory trees in sorted() order, instead of the order
returned by os.listdir().

This causes write_directory_tree() to produce a manifest that is
normalized to the greatest extent possible for the given
max_manifest_depth.

4388: Ruby Keep::Manifest skips blank lines in manifests.

Closes #4388.

The sso server docker image is not used by default at the moment, so
arvdock shouldn't try to start it unless explicitly requested.

refs #4383

The sso server docker image is not used by default at the moment, so
arvdock shouldn't try to start it unless explicitly requested.

refs #4383

system_user and anonymous_user should be excluded from
auto_setup_new_user, always.

refs #4383

system_user and anonymous_user should be excluded from
auto_setup_new_user, always.

refs #4383

Enable auto_setup_new_users in the docker API server image.

refs #4383

Enable auto_setup_new_users in the docker API server image.

refs #4383

Add instructions for 'binary' docker installation.

refs #4383

3618: refactor scroll tests to share code

3706: Clarify test case.

3706: Prefer join() to many string concatenations.

3706: Prefer "if x" to "if len(x) > 0".

3706: Two blank lines after class definition.

3706: Really make the API server return the wrong data, instead of just saying so.

3706: Put --normalize and --max-manifest-depth arguments in a mutually_exclusive_group.

Merge branch '4040-fuse-tests'

Fixes #4040.

3706: normalize() returns None instead of self. Add equally convenient, and more Pythonic, manifest_text(normalize=True) feature.

3609: Correctly recognize and rewrite directory names in collections.

3706: Catch and return exceptions in _populate_* methods to dry up _populate()

4040: code review feedback

* Renamed
** collection_owned_by_fuse_1 -> collection_1_owned_by_fuse
** collection_owned_by_fuse_2 -> collection_2_owned_by_fuse
* Added fixtures pipeline_instance_owned_by_fuse and
  pipeline_instance_in_fuse_project.
* Added name link for the empty collection, to exercise that links are
  exposed in the filesystem in the expected way.

Fix broken link in docs. Duh.

refs #4186

3609: Inherit --retries from _util.  Be more specific about error being caught.  Add comments.

4088: use filterable.js to filter on client side

Implemented client-side filtering via filterable.js:
* Designated filename rows as "filterable"
* Designated filename pattern input field as "filterable-control"
* Added "Select all" and "Unselect all" buttons with matching
  select_all_files() and unselect_all_files() actions
* Limit selection actions (compare, move, copy etc) to visible page
  elements only.
* Added integration tests "Filtering collection files by regexp" and
  "Creating collection from list of filtered files".

Merge branch '4186-install-doc-improvements-2'

refs #4186

Clean up the installation overview pages a bit more.

refs #4186

Merge branch 'master' into 4186-install-doc-improvements-2

Add keepstore installation page.

refs #4186

Workbench: Change from yui to uglifier to compress javascript in
config/environments/production.rb.example

No issue #

Fix typo.

refs #4186

Keepproxy just needs an anonymous token.

refs #4186

Batch of improvements for the manual installation documentation:

* add prerequisites section
* add shell server section
* add keepproxy section
* many other updates throughout

refs #4186

3618: improve api security for sorting to make sure each column we sort by is for a real table and a real column in the db

3618: make sure something happens if the order param is actually detected as an array

3618: bug fix: was confusing the "desc" meaning a "descending sort" with the "desc" that is the beginning of the column name "description"

Merge branch 'master' into 3618-column-ordering

Conflicts (all resolved including fixes):
apps/workbench/app/controllers/projects_controller.rb
apps/workbench/app/views/projects/_show_jobs_and_pipelines.html.erb
apps/workbench/app/views/projects/_show_tab_contents.html.erb
services/api/app/controllers/arvados/v1/groups_controller.rb

Merge branch '3824-crunch-container-setup' closes #3824

3824: Merge branch 'master' into 3824-crunch-container-setup