Merge branch '4088-collection-show-files-filter'

Fixes #4088.

Go to next job after fail_job when there is a tag mismatch.  refs #4310

Merge branch '4310-git-tag-race' closes #4310

4310: Remove stderr redirect from git rev-list, add it to git tag.  Prefix log
output with "dispatch: ".  Tweak error message if rev-list fails.

Merge branch '4383-easy-install'

refs #4383

Merge branch 'master' into 4383-easy-install

refs #4383

Another documentation tweak based on review feedback.

closes #4383

4310: Fix race condition between testing for tag and setting tag by reversing
order of operations: try to set the tag, and only test for it if there is an
error.

Merge branch '4389-breadcrumbs-infinite-loop' closes #4389

Install instructions: be a bit more explicit that arvdock is downloaded
and saved in the current working directory.

refs #4383

Merge branch 'master' into 4383-easy-install

refs #4383

Only try to install .config/arvados/settings.conf if we have a token to
put in there.

refs #4383

4088: code review feedback

* Modified styling for "Select all" and "Unselect all"
* "filename filter" -> "filename regex"
* Changed refutations to assertions to avoid running afoul of AJAX race
  conditions
* Refactored checkbox assertions into a helper

4389: Merge branch 'master' into 4389-breadcrumbs-infinite-loop

add 'arv-run' to setup.py refs #3609

Add more tests so that we cover all possible combinations of the
auto_admin_first_user and auto_admin_user configuration settings.

refs #4383

Update the behavior of the auto_admin_user configuration field a bit to
make it more intuitive: the first user created with an e-mail address
that matches auto_admin_user will now become admin, regardless of the
presence of other admin users. Any subsequent accounts created with that
e-mail address will no longer become admin.

refs #4383

4389: Add test.

Merge branch 'origin-3609-arv-run' into master closes #3609

Conflicts:
sdk/cli/bin/arv

Merge branch '4357-node-manager-busy-nodes-wip'

Closes #4357, #4370.

4357: Node Manager boots new nodes when up nodes are busy.

The key part of this commit is the change to _nodes_wanted.
Everything else provides the information to make that calculation.

This changes the daemon test to use real monitor actors, rather than a
mock.  This hurts test isolation a bit, but it's really tricky to mock
individual monitors otherwise.  Because monitors only communicate with
the daemon itself, this seems like a worthwhile trade-off; it doesn't
introduce external dependencies or noticeably increase test time.

4389: Merge branch 'master' into 4389-breadcrumbs-infinite-loop

Merge branch '4303-crunch-retry-logging-wip'

Closes #4303, #4385.

4303: crunch-job logs when it retries API calls.

Fix `arv keep copy` → `arv copy` wrapper.

No issue #.

Merge branch 'master' into 4383-easy-install

Conflicts:
docker/api/application.yml.in

refs #4383

Add unit tests for new auto_admin_first_user configuration setting.

refs #4383

3609: Simplify "group" example a bit more.

3609: Further improve documentation and code comments.

3609: Documentation improvements.  More error checking on run-command list function evaluation.

4389: Add debugging tools to dev bundle.

4389: Fix infinite loop when ownership trail terminates at a self-owning user.

4412: Remaining Ruby clients use :body_object for API requests.

A follow-up from the last commit.  Refs #4412.

4412: arv edit consistently uses :body_object in API requests.

Fixes #4412.

Merge branch '4031-fix-graph-connections' closes #4031

Merge branch '3618-column-ordering' closes #3618

4031: Fix tests.  Move RequestDuck to test_helper.rb so as not to duplicate code.

Update version dependency to ensure CollectionReader has a normalize() method. refs #3706

Merge branch 'master' into 3618-column-ordering

3618: accommodate new fixture indexing in pipeline_instance tests (including run-time=0 test)

3618: accommodate new fixture indexing in pipeline_instance tests

When auto_admin_first_user is set to true (default false), the first
user to sign in on a new installation will be an admin.

refs #4383

Merge branch '3706-keep-warning' closes #3706

3706: Oops, the test was broken, the feature works fine.

3706: Add (skipped) test for broken max_manifest_depth=0 feature.

4031: Add owner_uuid to graph_test_collection fixtures.

3706: Merge branch 'master' into 3706-keep-warning

Merge remote-tracking branch 'origin/master' into 4031-fix-graph-connections

Conflicts:
services/api/test/fixtures/collections.yml

4031: Improve provenance graph tests for readability, use fixtures instead of
hardcoded hashes.  Improve efficiency of matching collections in search_edges.
Remove spurious debug code.

3706: Remove superfluous conditional.

3706: Add back "collections.get => 404" to "fallback to Keep" test.

The sso server docker image is not used by default at the moment, so
arvdock shouldn't try to start it unless explicitly requested (part 2).

refs #4383

The sso server docker image is not used by default at the moment, so
arvdock shouldn't try to start it unless explicitly requested (part 2).

refs #4383

3706: Prefer "is None" and "is not None" to "== None" and "!= None".

3706: Mutating normalize() does not return self.

3706: Process directory trees in sorted() order, instead of the order
returned by os.listdir().

This causes write_directory_tree() to produce a manifest that is
normalized to the greatest extent possible for the given
max_manifest_depth.

4388: Ruby Keep::Manifest skips blank lines in manifests.

Closes #4388.

The sso server docker image is not used by default at the moment, so
arvdock shouldn't try to start it unless explicitly requested.

refs #4383

The sso server docker image is not used by default at the moment, so
arvdock shouldn't try to start it unless explicitly requested.

refs #4383

system_user and anonymous_user should be excluded from
auto_setup_new_user, always.

refs #4383

system_user and anonymous_user should be excluded from
auto_setup_new_user, always.

refs #4383

Enable auto_setup_new_users in the docker API server image.

refs #4383

Enable auto_setup_new_users in the docker API server image.

refs #4383

Add instructions for 'binary' docker installation.

refs #4383

3618: refactor scroll tests to share code

3706: Clarify test case.

3706: Prefer join() to many string concatenations.

3706: Prefer "if x" to "if len(x) > 0".

3706: Two blank lines after class definition.

3706: Really make the API server return the wrong data, instead of just saying so.

3706: Put --normalize and --max-manifest-depth arguments in a mutually_exclusive_group.

Merge branch '4040-fuse-tests'

Fixes #4040.

3706: normalize() returns None instead of self. Add equally convenient, and more Pythonic, manifest_text(normalize=True) feature.

3609: Correctly recognize and rewrite directory names in collections.

3706: Catch and return exceptions in _populate_* methods to dry up _populate()

4040: code review feedback

* Renamed
** collection_owned_by_fuse_1 -> collection_1_owned_by_fuse
** collection_owned_by_fuse_2 -> collection_2_owned_by_fuse
* Added fixtures pipeline_instance_owned_by_fuse and
  pipeline_instance_in_fuse_project.
* Added name link for the empty collection, to exercise that links are
  exposed in the filesystem in the expected way.

Fix broken link in docs. Duh.

refs #4186

3609: Inherit --retries from _util.  Be more specific about error being caught.  Add comments.

4088: use filterable.js to filter on client side

Implemented client-side filtering via filterable.js:
* Designated filename rows as "filterable"
* Designated filename pattern input field as "filterable-control"
* Added "Select all" and "Unselect all" buttons with matching
  select_all_files() and unselect_all_files() actions
* Limit selection actions (compare, move, copy etc) to visible page
  elements only.
* Added integration tests "Filtering collection files by regexp" and
  "Creating collection from list of filtered files".

Merge branch '4186-install-doc-improvements-2'

refs #4186

Clean up the installation overview pages a bit more.

refs #4186

Merge branch 'master' into 4186-install-doc-improvements-2

Add keepstore installation page.

refs #4186

Workbench: Change from yui to uglifier to compress javascript in
config/environments/production.rb.example

No issue #

Fix typo.

refs #4186

Keepproxy just needs an anonymous token.

refs #4186

Batch of improvements for the manual installation documentation:

* add prerequisites section
* add shell server section
* add keepproxy section
* many other updates throughout

refs #4186

3618: improve api security for sorting to make sure each column we sort by is for a real table and a real column in the db

3618: make sure something happens if the order param is actually detected as an array

3618: bug fix: was confusing the "desc" meaning a "descending sort" with the "desc" that is the beginning of the column name "description"

Merge branch 'master' into 3618-column-ordering

Conflicts (all resolved including fixes):
apps/workbench/app/controllers/projects_controller.rb
apps/workbench/app/views/projects/_show_jobs_and_pipelines.html.erb
apps/workbench/app/views/projects/_show_tab_contents.html.erb
services/api/app/controllers/arvados/v1/groups_controller.rb

Merge branch '3824-crunch-container-setup' closes #3824

3824: Merge branch 'master' into 3824-crunch-container-setup

3824: Fix comment to state that tasks must not assume $TASK_KEEPMOUNT is /keep.

Fix google-api-client version deps. No issue #

Merge branch '4359-project-paging' closes #4359

Merge branch '4088-filterable-docs' refs #4088

4088: Add usage docs to filterable.js

3706: Use normalize() in arv-mount.

3824: Import GPG key needed for RVM installation.