Enable auto_setup_new_users in the docker API server image.

refs #4383

Add instructions for 'binary' docker installation.

refs #4383

3618: refactor scroll tests to share code

3706: Clarify test case.

3706: Prefer join() to many string concatenations.

3706: Prefer "if x" to "if len(x) > 0".

3706: Two blank lines after class definition.

3706: Really make the API server return the wrong data, instead of just saying so.

3706: Put --normalize and --max-manifest-depth arguments in a mutually_exclusive_group.

Merge branch '4040-fuse-tests'

Fixes #4040.

3706: normalize() returns None instead of self. Add equally convenient, and more Pythonic, manifest_text(normalize=True) feature.

3609: Correctly recognize and rewrite directory names in collections.

3706: Catch and return exceptions in _populate_* methods to dry up _populate()

4040: code review feedback

* Renamed
** collection_owned_by_fuse_1 -> collection_1_owned_by_fuse
** collection_owned_by_fuse_2 -> collection_2_owned_by_fuse
* Added fixtures pipeline_instance_owned_by_fuse and
  pipeline_instance_in_fuse_project.
* Added name link for the empty collection, to exercise that links are
  exposed in the filesystem in the expected way.

Fix broken link in docs. Duh.

refs #4186

3609: Inherit --retries from _util.  Be more specific about error being caught.  Add comments.

4088: use filterable.js to filter on client side

Implemented client-side filtering via filterable.js:
* Designated filename rows as "filterable"
* Designated filename pattern input field as "filterable-control"
* Added "Select all" and "Unselect all" buttons with matching
  select_all_files() and unselect_all_files() actions
* Limit selection actions (compare, move, copy etc) to visible page
  elements only.
* Added integration tests "Filtering collection files by regexp" and
  "Creating collection from list of filtered files".

4084: Change $(this) to this and add comments.  Refactor @pidfile in test_helper slightly.

4084: Fix workbench tests.

Merge branch '4186-install-doc-improvements-2'

refs #4186

Clean up the installation overview pages a bit more.

refs #4186

Merge branch 'master' into 4186-install-doc-improvements-2

Add keepstore installation page.

refs #4186

Workbench: Change from yui to uglifier to compress javascript in
config/environments/production.rb.example

No issue #

Fix typo.

refs #4186

Keepproxy just needs an anonymous token.

refs #4186

Batch of improvements for the manual installation documentation:

* add prerequisites section
* add shell server section
* add keepproxy section
* many other updates throughout

refs #4186

3618: improve api security for sorting to make sure each column we sort by is for a real table and a real column in the db

3618: make sure something happens if the order param is actually detected as an array

3618: bug fix: was confusing the "desc" meaning a "descending sort" with the "desc" that is the beginning of the column name "description"

Merge branch 'master' into 3618-column-ordering

Conflicts (all resolved including fixes):
apps/workbench/app/controllers/projects_controller.rb
apps/workbench/app/views/projects/_show_jobs_and_pipelines.html.erb
apps/workbench/app/views/projects/_show_tab_contents.html.erb
services/api/app/controllers/arvados/v1/groups_controller.rb

Merge branch '3824-crunch-container-setup' closes #3824

3824: Merge branch 'master' into 3824-crunch-container-setup

3824: Fix comment to state that tasks must not assume $TASK_KEEPMOUNT is /keep.

Fix google-api-client version deps. No issue #

Merge branch '4359-project-paging' closes #4359

Merge branch '4088-filterable-docs' refs #4088

4088: Add usage docs to filterable.js

3706: Use normalize() in arv-mount.

3824: Import GPG key needed for RVM installation.

3824: Remove redundant "apt-get update", standardize on "apt-get update -qq" and "apt-get install -qqy".

3824: Set mode on /etc/fuse.conf in compute image.

4307: Workbench: only pipeline components are not editable after start.

This fixes a regression from d7fdbbab.  Closes #4307.

4088: Add usage docs to filterable.js

3824: Bring back $! in error message, in case it's helpful.

3824: Merge branch 'master' into 3824-crunch-container-setup

3824: Use Data::Dumper instead of custom quoting to show srun/task exec args.

4091: Use <=N instead of <N+1. Pass "uuid not in" filter to API instead of adding custom filter params.

4040: clarify variable names

Per code review: give d1, d2, d3 more descriptive variable names.

closes #4091
Merge branch '4091-test-infinite-scrolling'

Merge branch 'master' into 4091-test-infinite-scrolling

4091: set the limit size to 50 for "Jobs and pipelines" tab.

4040: update FUSE driver tests with stable fixtures

Added test fixtures specifically for FUSE driver tests.

Fix Node Manager test bug introduced by last commit.

Bad Brett, only running specific tests.  No issue #.

Fix race condition in Node Manager shutdown tests.

ComputeNodeMonitorActor considers a shutdown when it's initialized.
Blocking on the subscription we send ensures that message is fully
processed before the tests continue.  This is important because
several of them change the shutdown state immediately after, and that
might be seen by the internal shutdown consideration without this.

No issue #, but see
<https://ci.curoverse.com/job/arvados-api-server/1027/console>.

Fix the goldang consarned FUSE tests again.

No issue #, dammit

Merge branch '4088-collection-show-files-filter'

Refs #4088.

4088: filter only on files

Only apply the regex filter to files; continue to process subdirectories
as normal in order to keep the appropriate filename hierarchy.

3618: Make tests pass: bugs were revealed in "Other objects" tab related to there not being any sorting going on there, etc.; add checks for HTML5 history and for nulls and undefineds

4088: fix alignment for right-floating input field

Merge branch 'master' into 3618-column-ordering

3618: store in the browser history state the current sort settings for each tab

Improve config/application.yml.example for the API server and workbench:

* API server: define prefix_uuid in development mode
* workbench: add a production section

No issue #

4088: code review feedback

* Filter files by regex before .take(10000)
* Added "regular expression" placeholder in the filter input box
* Issue a Rails "alert" div if the regex could not be parsed
* Test that we're actually viewing a collection when no matches are
  found (and not a fiddlesticks page or something)

4031: Test for collection provenance/used_by

Merge remote-tracking branch 'origin/master' into 4084-log-pane-refresh

4084: Split out behavior of updating job subscribe list to
arv-log-event-subscribe-to-pipeline-job-uuids.  Fix arv:pane:reload
setTimeout() that was missing a timeout.  Rename etarget -> $anchor.  Refactor
removeClass calls.  Add comments explaining tab reloading states better.

4031: Find for collection dependencies even in the middle of script parameter
fields.  Server side collections with same PDH into a single entry with a
special name.  Fix node descriptions, hyperlinks.  More options to eliminate
certain node types for certain graphs to make them easier to read.  Handle both
PDH and UUID when identifying collections.

Fix off-by-one error in Node Manager server calculations.

This bug prevented Node Manager from starting nodes for a job that
requested a number of nodes equal to the daemon's max_nodes setting.
No issue #.

4091: update jobs fixture to set same created_at timestamp for some of the jobs.

4091: enhance code to handle the case where there are more than one item in the next page matching the previous page's last object's created_at time.
Also, handle the case where the entire next page has the same created_at time as the previous page's last item; to keep things simple, stop scrolling in this case.

4088: filter collection file view by regex

Added a "Filter" field for supplying a regular expression to filter
filenames. Updated integration tests.

3824: Remove redundant addition of arvados package repo and key.

3824: Add sources.list file missing from commit:0f9aaf1

3618: remove unnecessary "raw" directive for the sort columns table header attribute

3824: Fix up logging messages.

3706: Merge branch 'master' into 3706-keep-warning

3706: Remove automatic normalization. Add --normalize option to
arv-put. Add normalize() and stripped_manifest() methods to
CollectionReader. Clean up normalize code.

3706: Consolidate more regular expressions into util package.

3706: Do not leave zero-length file segment at end of stream after finish_current_file().

3706: In CollectionReader, try fetching manifests before/after API
server when the ID is a Keep locator with/without a permission hint
respectively. Do not display a warning if the manifest is found one
way or the other.

4031: Refresh provenance helper graph generation to fix bugs and make better
use of available human readable names such as collections and components.  Added tests.

4091: retain filters in project contents collections and similar tabs.

Merge branch 'master' into 4091-test-infinite-scrolling

4091: change project contents order from uuid to created_at.

Merge branch '4015-collection-chooser-portable-data-hash'

Fixes #4015.

4015: update FUSE mount tests (again)

4015: simplify integration tests

Responding to code review in #4015-8:

We can (and should) test that the collection portable_data_hash is
recorded in individual tests without adding explicit new tests or
fixtures.

Updated test 'Create and run a pipeline' and the helper
create_and_run_pipeline_in_aproject to check that the collection
portable_data_hash, uuid and name have been recorded correctly in the
Advanced tab.

Merge branch 'master' into 4091-test-infinite-scrolling

Merge branch '4297-dispatch-load' refs #4297

3706: Silence fallback-to-keep warning, show both errors (API and Keep) if both fail.

4297: Merge branch 'master' into 4297-dispatch-load

4297: Rename @have_tags -> @job_tags, @have_commits -> @fetched_commits. Add comments.

4297: Use save! instead of save to ensure failures get logged.

3824: Use keep volumes big enough to store the arvados/jobs docker image. Do not clobber settings.conf if not starting apiserver.

3824: Do not say "There are  jobs in the queue ahead of this one" if queue_position is unknown.

3824: Add dnsmasq to compute images, to make docker-in-docker work. refs #3333

3824: Use a docker volume for TASK_WORK, clean up env var and tmp dir handling, improve logging.

closes #4285
Merge branch '4285-view-download-collection-subdir-files'

4285: use regexp to prepent ./ to file path