Merge branch '3775-fetch-git-repo' closes #3775

3775: Set state=Running when creating a Job in local mode.

3775: Merge branch 'master' into 3775-fetch-git-repo

Conflicts:
sdk/cli/bin/crunch-job

arv-put parses arguments before instantiating an API client.

This helps ensure that `--help` responds quickly even if the server is
slow or down.  No issue #.

Merge branch '3634-tab-state' refs #3634

closes #4046
Merge branch '4046-job-queue-position'

Merge branch 'master' into 3634-tab-state

Conflicts (resolved):
apps/workbench/app/views/application/_title_and_buttons.html.erb

Merge branch 'master' into 4046-job-queue-position

3634: add anchor to URL when switching project tabs

4046: update assert error message

Merge branch '3782-stub-io-pipe' refs #3782

Merge branch 'master' into 4046-job-queue-position

Merge branch '3825-crunch-pipe-to-arv-put-final'

Closes #3825.

3825: code review

* avoid overloading "output" (usually used for the output from a task or job than for diagnostic output from crunch)
** renamed:
*** start_output_log -> log_writer_start
*** write_output_log -> log_writer_send
*** finish_output_log -> log_writer_finish
*** output_log_is_active -> log_writer_is_active
* fixed missing semicolon

3782: Merge branch 'master' into 3782-stub-io-pipe

closes #3583
Merge branch '3583-provenance-graph-issue'

Merge branch 'master' into 3583-provenance-graph-issue

Merge branch 'master' into 4046-job-queue-position

4046: update queue_position method to increment index and add unit test.

3775: Recognize ssh short form without @ symbol. Expand comments.

Merge branch '3859-crunch-job-use-lock' closes #3859

3782: Avoid using a huge read buffer when client requests a huge range. Add test.

3782: Stub IO.pipe() with StringIO instead of stubbing content with KEEP_LOCAL_STORE.

3782: Restore config settings changed during tests. (copied from API server)

Merge branch '3687-grant-permission-on-repo-TC' closes #3687

3687: Merge branch 'master' into 3687-grant-permission-on-repo-TC

closes #4025
Merge branch '4025-move-project-button-label'

4025: Change the button label 'Move...' to 'Move <object_class>...' and update test assertion accordingly.

Merge branch 'master' into 4025-move-project-button-label

Conflicts:
apps/workbench/app/views/application/_title_and_buttons.html.erb

3687: Add comment about redundant lookup.

3687: OK here just means this loop is OK, not everything is OK!

3687: in User#can?, consider permission links with head_uuid pointing directly at the target.

closes #4036
Merge branch '4036-combine-collections-in-project-issue'

3687: add functional test for sharing within a group

Test that two unprivileged users in the same group can share collections.

3634: If a link has the class "force-cache-reload", then on browser-back the page will be reloaded
(a modal will be shown to the user while the reload is occurring)

3634: set the response to ask the browser nicely to never cache
(even though it will use its "bfcache" anyway for many cases)

3775: Merge branch 'master' into 3775-fetch-git-repo

3775: Remove redundant log message.

3775: Clean up reporting of exit codes: say "0 with signal 2", not "512".

3775: Add TODO comments in suspicious-looking collate_output corners.

3775: Run local/dev jobs on code from arbitrary remote git repositories.

* repository is a local path X -> use local repository X or X/.git.

* repository is a git url (git://, https://, git@host:repo.git, etc)
  fetch branches, tags, and objects from the remote and use the result
  to resolve script_version to a commit sha1 and run the job.

* else -> look up the named repository in Arvados and use its
  fetch_url as a remote git url as above.

* --git-dir is given on the command line -> use that instead of
  $Job->{repository} in the above logic. (This isn't new. It ensures
  we don't go off fetching arbitrary remotes when crunch-dispatch.rb
  has already pulled the code into its own internal git repo.)

Incidental changes:

* Lose support for looking up subversion revision numbers using
  git-svn tags.

* Lose support for CRUNCH_DEFAULT_GIT_DIR environment variable. Pass
  --git-dir instead.

* Improve log messages during checkout/install phase.

4036: add comment for flash alert div

Merge branch 'master' into 4036-combine-collections-in-project-issue

3775: Remove stagnant $job_has_uuid flag. Every job has a uuid. The
only time to skip updating the job record on the server side is when
croak() happens before $Job is created/fetched.

3775: Fix syntax error 2 commits ago.

Merge branch 'master' into 3634-tab-state

4025: add fa-fw to the newly added i tag class like all other such usages.

4205: add tooltips to pipeline instance tab line buttons

Merge branch 'master' into 4025-move-project-button-label

4025: add tooltips to some of the tab line buttons and also adjust the title of the "Move" button.

3825: write log output directly to a pipe.

Added functions:
* start_output_log($logfilename)
* write_output_log($txt)
* finish_output_log()
* output_log_is_active()

Rewrote all code that referenced $local_logfile in terms of these
functions.

Merge branch '3769-throttle-logs' closes #3769

3769: Spelling fix and remove debugging puts.

4036: correct div class

3583: extend encode quotes logic for script parameters as well, just in case.

Merge branch 'master' into 3583-provenance-graph-issue

4036: update the test that combines files from within a collection to expect the new collection in current project, if applicable and writable.

3775: Merge branch 'master' into 3775-fetch-git-repo

Merge branch 'master' into 4036-combine-collections-in-project-issue

4036: when files in a collection are combined, create the new collection in the original collection's project, provided it is writable.

Merge branch 'master' into 3769-throttle-logs

Conflicts:
services/api/script/crunch-dispatch.rb

Merge branch '3052-crunch-log-stdout' closes #3052

Merge branch 'master' into 3052-crunch-log-stdout

3052: Change ruby style ruby style {:stderr => ''} to json style {stderr: ''}

Merge branch '3782-large-job-logs'

Closes #3782.

3782: fix FuseSharedTest

4036: update combine collection tests to expect the newly created collection in the right project.

Add test fixture to fix "test_cancel_someone_else's_visible_job" refs #3859

4036: improve rails flash message display to check if the message is an error.

Merge branch 'master' into 3583-provenance-graph-issue

3583: replace " characters with \" in node value to ensure graph does not get mixed up on node labels.

Merge branch 'master' of git.curoverse.com:arvados into 4036-combine-collections-in-project-issue

4046: when combining collections in a project, set current project as owner (if writable) and show the new collection.

Merge branch '3859-api-job-lock-method' refs #3859

3769: Tweak throttle/truncate messages and application.default.yml defaults.

3769: Add rate_limit with log throttling logic.  Multiple configuration
parameters to throttle excessive logging by bytes, lines, logs table events,
and total logged output.

3782: code review feedback

* Fixed whitespace, JavaScript style in _show_log.html.erb
* Removed unused bytecount variable from file_enumerator
* Changed the new job and collection fixtures to have the job uuid match
  the uuid listed in the log.

3782: added state to job fixture

Merge branch 'master' into 3782-large-job-logs

Conflicts:
services/api/test/fixtures/collections.yml
services/api/test/fixtures/jobs.yml

Merge branch '3782-stub-file-content' refs #3782

3782: Merge branch 'master' into 3782-stub-file-content

Merge branch '3052-crunch-log-stdout' into 3769-throttle-logs

3782: Use stubbed file content for "inactive user can retrieve user agreement" test.

Merge branch '4000-rerun-pipeline-changed-template'

Closes #4000.

4000: update both functional tests.

Merge branch 'master' into 3769-throttle-logs

4000: tighten up functional test

Updated the test to ensure that a copied pipeline instance actually has
the expected script_parameters from both the source instance and source
template, respectively.

Use job state field instead of running/success columns. refs #3898

3782: bugfix and added integration test

* Fixed bug where log viewer would always request partial log and receive
  206, even when total log size is shorter than log_viewer_max_bytes.
* Added integration tests:
** set up KEEP_LOCAL_STORE with dummy log
** test retrieving full job log
** test retrieving partial job log

Merge branch 'master' into 3583-provenance-graph-issue

3583: replace " characters with ' characters in node value to ensure graph does not get mixed up on node labels.

3859: unit test for job state changes

3782: Merge branch 'master' into 3782-stub-file-content

3782: Remove obsolete helper method.

3769: Allow up to crunch_limit_log_event_throttle_rate per
crunch_limit_log_event_throttle_period, then silence the logs until the next
crunch_limit_log_event_throttle_period.

3859: Added AlreadyLockedError for job lock conflict.  Added runningbarbaz
fixture so test "cancel someone else's visible job" is testing the right thing.

Merge branch '4004-restore-dashboard-buttons' closes #4004

4004: Add newlines for readability

3775: Fix crunch-job exit status: exit non-zero after "freeze"
path (which includes task failure, INT, TERM, etc.)

Also fix wrong todo list (and therefore todo count in progress stats)
after permanent task failure.

3899: Fix for counting complete/failed components refs #3899