3882: Test response status and #cancel method.

3882: refactor tests

3882: added a few more tests for cancelled_at state. Most importantly, uncomment the assertion
to raise error when a functional test performs multiple actions in a single test (refs 3889#).

3687: Add comment about redundant lookup.

3687: OK here just means this loop is OK, not everything is OK!

3687: in User#can?, consider permission links with head_uuid pointing directly at the target.

Merge branch 'master' into 3882-cancel-already-cancelled-job

closes #4036
Merge branch '4036-combine-collections-in-project-issue'

3882: add test to verify a cancelled job stays cancelled on futher cancel actions.

3687: add functional test for sharing within a group

Test that two unprivileged users in the same group can share collections.

4042: Add dry-run mode to run-command.  Test and fix examples from documentation.

4042: First draft document complete, need to verify that examples all work.

4042: Functions defined in get_items() now moved into expand_items()

4042: Subst will raise exceptions if files/directories don't exist.

3634: If a link has the class "force-cache-reload", then on browser-back the page will be reloaded
(a modal will be shown to the user while the reload is occurring)

3634: set the response to ask the browser nicely to never cache
(even though it will use its "bfcache" anyway for many cases)

3775: Merge branch 'master' into 3775-fetch-git-repo

3775: Remove redundant log message.

3775: Clean up reporting of exit codes: say "0 with signal 2", not "512".

3775: Add TODO comments in suspicious-looking collate_output corners.

3775: Run local/dev jobs on code from arbitrary remote git repositories.

* repository is a local path X -> use local repository X or X/.git.

* repository is a git url (git://, https://, git@host:repo.git, etc)
  fetch branches, tags, and objects from the remote and use the result
  to resolve script_version to a commit sha1 and run the job.

* else -> look up the named repository in Arvados and use its
  fetch_url as a remote git url as above.

* --git-dir is given on the command line -> use that instead of
  $Job->{repository} in the above logic. (This isn't new. It ensures
  we don't go off fetching arbitrary remotes when crunch-dispatch.rb
  has already pulled the code into its own internal git repo.)

Incidental changes:

* Lose support for looking up subversion revision numbers using
  git-svn tags.

* Lose support for CRUNCH_DEFAULT_GIT_DIR environment variable. Pass
  --git-dir instead.

* Improve log messages during checkout/install phase.

4036: add comment for flash alert div

Merge branch 'master' into 4036-combine-collections-in-project-issue

3775: Remove stagnant $job_has_uuid flag. Every job has a uuid. The
only time to skip updating the job record on the server side is when
croak() happens before $Job is created/fetched.

3775: Fix syntax error 2 commits ago.

Merge branch 'master' into 3634-tab-state

4025: add fa-fw to the newly added i tag class like all other such usages.

4205: add tooltips to pipeline instance tab line buttons

Merge branch 'master' into 4025-move-project-button-label

4025: add tooltips to some of the tab line buttons and also adjust the title of the "Move" button.

4042: Getting started on run-command reference

3825: write log output directly to a pipe.

Added functions:
* start_output_log($logfilename)
* write_output_log($txt)
* finish_output_log()
* output_log_is_active()

Rewrote all code that referenced $local_logfile in terms of these
functions.

Merge branch '3769-throttle-logs' closes #3769

3769: Spelling fix and remove debugging puts.

4042: Start working on run-command reference page.

4042: another expand fix

4042: expand list fix

4036: correct div class

4042: add command pattern to list index

4042: fix bad keys

4042: fix bad syntax

4042: Add list index

3583: extend encode quotes logic for script parameters as well, just in case.

4042: add "extract"

4042: list handling bugfix

4042: Fix syntax error

4042: Add support for filter and group of lists

Merge branch 'master' into 3583-provenance-graph-issue

4042: task.foreach should now accept multiple parameters and generate tasks
based on the cartesian product of all input lists.

4036: update the test that combines files from within a collection to expect the new collection in current project, if applicable and writable.

3775: Merge branch 'master' into 3775-fetch-git-repo

Merge branch 'master' into 4036-combine-collections-in-project-issue

4036: when files in a collection are combined, create the new collection in the original collection's project, provided it is writable.

Merge branch 'master' into 3769-throttle-logs

Conflicts:
services/api/script/crunch-dispatch.rb

Merge branch '3052-crunch-log-stdout' closes #3052

Merge branch 'master' into 3052-crunch-log-stdout

3052: Change ruby style ruby style {:stderr => ''} to json style {stderr: ''}

Merge branch '3782-large-job-logs'

Closes #3782.

3782: fix FuseSharedTest

4036: update combine collection tests to expect the newly created collection in the right project.

Add test fixture to fix "test_cancel_someone_else's_visible_job" refs #3859

4036: improve rails flash message display to check if the message is an error.

Merge branch 'master' into 3583-provenance-graph-issue

3583: replace " characters with \" in node value to ensure graph does not get mixed up on node labels.

Merge branch 'master' of git.curoverse.com:arvados into 4036-combine-collections-in-project-issue

4046: when combining collections in a project, set current project as owner (if writable) and show the new collection.

Merge branch '3859-api-job-lock-method' refs #3859

3769: Tweak throttle/truncate messages and application.default.yml defaults.

3769: Add rate_limit with log throttling logic.  Multiple configuration
parameters to throttle excessive logging by bytes, lines, logs table events,
and total logged output.

3782: code review feedback

* Fixed whitespace, JavaScript style in _show_log.html.erb
* Removed unused bytecount variable from file_enumerator
* Changed the new job and collection fixtures to have the job uuid match
  the uuid listed in the log.

3782: added state to job fixture

Merge branch 'master' into 3782-large-job-logs

Conflicts:
services/api/test/fixtures/collections.yml
services/api/test/fixtures/jobs.yml

Merge branch '3782-stub-file-content' refs #3782

3782: Merge branch 'master' into 3782-stub-file-content

Merge branch '3052-crunch-log-stdout' into 3769-throttle-logs

3782: Use stubbed file content for "inactive user can retrieve user agreement" test.

Merge branch '4000-rerun-pipeline-changed-template'

Closes #4000.

4000: update both functional tests.

Merge branch 'master' into 3769-throttle-logs

4000: tighten up functional test

Updated the test to ensure that a copied pipeline instance actually has
the expected script_parameters from both the source instance and source
template, respectively.

Use job state field instead of running/success columns. refs #3898

3782: bugfix and added integration test

* Fixed bug where log viewer would always request partial log and receive
  206, even when total log size is shorter than log_viewer_max_bytes.
* Added integration tests:
** set up KEEP_LOCAL_STORE with dummy log
** test retrieving full job log
** test retrieving partial job log

Merge branch 'master' into 3583-provenance-graph-issue

3583: replace " characters with ' characters in node value to ensure graph does not get mixed up on node labels.

3859: unit test for job state changes

3782: Merge branch 'master' into 3782-stub-file-content

3782: Remove obsolete helper method.

3769: Allow up to crunch_limit_log_event_throttle_rate per
crunch_limit_log_event_throttle_period, then silence the logs until the next
crunch_limit_log_event_throttle_period.

3859: Added AlreadyLockedError for job lock conflict.  Added runningbarbaz
fixture so test "cancel someone else's visible job" is testing the right thing.

Merge branch '4004-restore-dashboard-buttons' closes #4004

4004: Add newlines for readability

3775: Fix crunch-job exit status: exit non-zero after "freeze"
path (which includes task failure, INT, TERM, etc.)

Also fix wrong todo list (and therefore todo count in progress stats)
after permanent task failure.

3899: Fix for counting complete/failed components refs #3899

3859: Add functional test for locking and fix tests broken by validate_state_change.

Merge branch 'master' into 3859-api-job-lock-method

Merge branch 'master' into 3859-crunch-job-use-lock

4000: fix copying pipeline instances with newer templates

* When copying script parameters from a pipeline instance, check that
  the component exists in the source instance before blindly
  dereferencing it.
* Added tests for copying when components=use_latest and when
  script=use_same (the two edge cases exposed by this bug)

3959: crunch-job use job locking API

3859: Cleaned up validate_state_change.  Added unit test for job locking.

4004: Rename "Compute status" to "Compute and job status".  Added integration
tests for buttons.  Reduced dashboard page rendering time by at least 25% by
batching certain API server requests (previously happing per-object),