4084: Fix workbench tests.

Merge branch '4186-install-doc-improvements-2'

refs #4186

Clean up the installation overview pages a bit more.

refs #4186

Merge branch 'master' into 4186-install-doc-improvements-2

Add keepstore installation page.

refs #4186

Workbench: Change from yui to uglifier to compress javascript in
config/environments/production.rb.example

No issue #

Fix typo.

refs #4186

Keepproxy just needs an anonymous token.

refs #4186

Batch of improvements for the manual installation documentation:

* add prerequisites section
* add shell server section
* add keepproxy section
* many other updates throughout

refs #4186

3618: improve api security for sorting to make sure each column we sort by is for a real table and a real column in the db

3618: make sure something happens if the order param is actually detected as an array

3618: bug fix: was confusing the "desc" meaning a "descending sort" with the "desc" that is the beginning of the column name "description"

Merge branch 'master' into 3618-column-ordering

Conflicts (all resolved including fixes):
apps/workbench/app/controllers/projects_controller.rb
apps/workbench/app/views/projects/_show_jobs_and_pipelines.html.erb
apps/workbench/app/views/projects/_show_tab_contents.html.erb
services/api/app/controllers/arvados/v1/groups_controller.rb

Merge branch '3824-crunch-container-setup' closes #3824

3824: Merge branch 'master' into 3824-crunch-container-setup

3824: Fix comment to state that tasks must not assume $TASK_KEEPMOUNT is /keep.

Fix google-api-client version deps. No issue #

Merge branch '4359-project-paging' closes #4359

Merge branch '4088-filterable-docs' refs #4088

4088: Add usage docs to filterable.js

3706: Use normalize() in arv-mount.

3824: Import GPG key needed for RVM installation.

3824: Remove redundant "apt-get update", standardize on "apt-get update -qq" and "apt-get install -qqy".

3824: Set mode on /etc/fuse.conf in compute image.

4307: Workbench: only pipeline components are not editable after start.

This fixes a regression from d7fdbbab.  Closes #4307.

4088: Add usage docs to filterable.js

3824: Bring back $! in error message, in case it's helpful.

3824: Merge branch 'master' into 3824-crunch-container-setup

3824: Use Data::Dumper instead of custom quoting to show srun/task exec args.

4091: Use <=N instead of <N+1. Pass "uuid not in" filter to API instead of adding custom filter params.

4040: clarify variable names

Per code review: give d1, d2, d3 more descriptive variable names.

closes #4091
Merge branch '4091-test-infinite-scrolling'

Merge branch 'master' into 4091-test-infinite-scrolling

4091: set the limit size to 50 for "Jobs and pipelines" tab.

4040: update FUSE driver tests with stable fixtures

Added test fixtures specifically for FUSE driver tests.

Fix Node Manager test bug introduced by last commit.

Bad Brett, only running specific tests.  No issue #.

Fix race condition in Node Manager shutdown tests.

ComputeNodeMonitorActor considers a shutdown when it's initialized.
Blocking on the subscription we send ensures that message is fully
processed before the tests continue.  This is important because
several of them change the shutdown state immediately after, and that
might be seen by the internal shutdown consideration without this.

No issue #, but see
<https://ci.curoverse.com/job/arvados-api-server/1027/console>.

Fix the goldang consarned FUSE tests again.

No issue #, dammit

Merge branch '4088-collection-show-files-filter'

Refs #4088.

4088: filter only on files

Only apply the regex filter to files; continue to process subdirectories
as normal in order to keep the appropriate filename hierarchy.

3618: Make tests pass: bugs were revealed in "Other objects" tab related to there not being any sorting going on there, etc.; add checks for HTML5 history and for nulls and undefineds

4088: fix alignment for right-floating input field

Merge branch 'master' into 3618-column-ordering

3618: store in the browser history state the current sort settings for each tab

Improve config/application.yml.example for the API server and workbench:

* API server: define prefix_uuid in development mode
* workbench: add a production section

No issue #

4088: code review feedback

* Filter files by regex before .take(10000)
* Added "regular expression" placeholder in the filter input box
* Issue a Rails "alert" div if the regex could not be parsed
* Test that we're actually viewing a collection when no matches are
  found (and not a fiddlesticks page or something)

4031: Test for collection provenance/used_by

Merge remote-tracking branch 'origin/master' into 4084-log-pane-refresh

4084: Split out behavior of updating job subscribe list to
arv-log-event-subscribe-to-pipeline-job-uuids.  Fix arv:pane:reload
setTimeout() that was missing a timeout.  Rename etarget -> $anchor.  Refactor
removeClass calls.  Add comments explaining tab reloading states better.

4031: Find for collection dependencies even in the middle of script parameter
fields.  Server side collections with same PDH into a single entry with a
special name.  Fix node descriptions, hyperlinks.  More options to eliminate
certain node types for certain graphs to make them easier to read.  Handle both
PDH and UUID when identifying collections.

Fix off-by-one error in Node Manager server calculations.

This bug prevented Node Manager from starting nodes for a job that
requested a number of nodes equal to the daemon's max_nodes setting.
No issue #.

4091: update jobs fixture to set same created_at timestamp for some of the jobs.

4091: enhance code to handle the case where there are more than one item in the next page matching the previous page's last object's created_at time.
Also, handle the case where the entire next page has the same created_at time as the previous page's last item; to keep things simple, stop scrolling in this case.

4088: filter collection file view by regex

Added a "Filter" field for supplying a regular expression to filter
filenames. Updated integration tests.

3824: Remove redundant addition of arvados package repo and key.

3824: Add sources.list file missing from commit:0f9aaf1

3618: remove unnecessary "raw" directive for the sort columns table header attribute

3824: Fix up logging messages.

3706: Merge branch 'master' into 3706-keep-warning

3706: Remove automatic normalization. Add --normalize option to
arv-put. Add normalize() and stripped_manifest() methods to
CollectionReader. Clean up normalize code.

3706: Consolidate more regular expressions into util package.

3706: Do not leave zero-length file segment at end of stream after finish_current_file().

3706: In CollectionReader, try fetching manifests before/after API
server when the ID is a Keep locator with/without a permission hint
respectively. Do not display a warning if the manifest is found one
way or the other.

4031: Refresh provenance helper graph generation to fix bugs and make better
use of available human readable names such as collections and components.  Added tests.

4091: retain filters in project contents collections and similar tabs.

Merge branch 'master' into 4091-test-infinite-scrolling

4091: change project contents order from uuid to created_at.

Merge branch '4015-collection-chooser-portable-data-hash'

Fixes #4015.

4015: update FUSE mount tests (again)

4015: simplify integration tests

Responding to code review in #4015-8:

We can (and should) test that the collection portable_data_hash is
recorded in individual tests without adding explicit new tests or
fixtures.

Updated test 'Create and run a pipeline' and the helper
create_and_run_pipeline_in_aproject to check that the collection
portable_data_hash, uuid and name have been recorded correctly in the
Advanced tab.

Merge branch 'master' into 4091-test-infinite-scrolling

Merge branch '4297-dispatch-load' refs #4297

3706: Silence fallback-to-keep warning, show both errors (API and Keep) if both fail.

4297: Merge branch 'master' into 4297-dispatch-load

4297: Rename @have_tags -> @job_tags, @have_commits -> @fetched_commits. Add comments.

4297: Use save! instead of save to ensure failures get logged.

3824: Use keep volumes big enough to store the arvados/jobs docker image. Do not clobber settings.conf if not starting apiserver.

3824: Do not say "There are  jobs in the queue ahead of this one" if queue_position is unknown.

3824: Add dnsmasq to compute images, to make docker-in-docker work. refs #3333

3824: Use a docker volume for TASK_WORK, clean up env var and tmp dir handling, improve logging.

closes #4285
Merge branch '4285-view-download-collection-subdir-files'

4285: use regexp to prepent ./ to file path

3618: best guesses about which database columns could be used for sorting (not certain about the descriptions, though, in many cases)

3618: When changing to sorting on a different column, make sure the directional indicator of the previous is removed.

3618: Add Workbench integration test for sorting data collections

3618: correctly propagate the ordering parameters when scrolling

4285: prepend './' to file path being retrieved when it is in a subdir in a collection.

3618: Add some basic API server tests for the sort feature

Merge branch 'master' into 4091-test-infinite-scrolling

4091: add offset to next page url

Merge branch '3699-arv-copy'

Refs #3699.

3699: fix namespace clash: rename module to arv_copy

Prevents confusion with the Python 'copy' module.

No issue # (bug fix)

3618: replace js use of == and != with the more predictable === and !==

Merge branch '3699-arv-copy'

Closes #3699.

Merge branch 'master' into 4091-test-infinite-scrolling

4091: adjust the test fixture to use less data to match the limit size of 100 for the Jobs and pipelines tab in project.

Increase the timeout on "lots of events" websocket test.  refs #4295

Merge branch '4295-efficient-websockets' closes #4295

4295: Use EventMachine::schedule when there is potentially more events to send instead of pushing an event to the channel (which wakes up all listeners).

4295: Fix typo in comment