3775: Add TODO comments in suspicious-looking collate_output corners.

3775: Run local/dev jobs on code from arbitrary remote git repositories.

* repository is a local path X -> use local repository X or X/.git.

* repository is a git url (git://, https://, git@host:repo.git, etc)
  fetch branches, tags, and objects from the remote and use the result
  to resolve script_version to a commit sha1 and run the job.

* else -> look up the named repository in Arvados and use its
  fetch_url as a remote git url as above.

* --git-dir is given on the command line -> use that instead of
  $Job->{repository} in the above logic. (This isn't new. It ensures
  we don't go off fetching arbitrary remotes when crunch-dispatch.rb
  has already pulled the code into its own internal git repo.)

Incidental changes:

* Lose support for looking up subversion revision numbers using
  git-svn tags.

* Lose support for CRUNCH_DEFAULT_GIT_DIR environment variable. Pass
  --git-dir instead.

* Improve log messages during checkout/install phase.

4036: add comment for flash alert div

Merge branch 'master' into 4036-combine-collections-in-project-issue

3775: Remove stagnant $job_has_uuid flag. Every job has a uuid. The
only time to skip updating the job record on the server side is when
croak() happens before $Job is created/fetched.

3775: Fix syntax error 2 commits ago.

Merge branch 'master' into 3634-tab-state

4025: add fa-fw to the newly added i tag class like all other such usages.

4205: add tooltips to pipeline instance tab line buttons

Merge branch 'master' into 4025-move-project-button-label

4025: add tooltips to some of the tab line buttons and also adjust the title of the "Move" button.

4042: Getting started on run-command reference

3825: write log output directly to a pipe.

Added functions:
* start_output_log($logfilename)
* write_output_log($txt)
* finish_output_log()
* output_log_is_active()

Rewrote all code that referenced $local_logfile in terms of these
functions.

Merge branch '3769-throttle-logs' closes #3769

3769: Spelling fix and remove debugging puts.

4042: Start working on run-command reference page.

4042: another expand fix

4042: expand list fix

4036: correct div class

4042: add command pattern to list index

4042: fix bad keys

4042: fix bad syntax

4042: Add list index

3583: extend encode quotes logic for script parameters as well, just in case.

4042: add "extract"

4042: list handling bugfix

4042: Fix syntax error

4042: Add support for filter and group of lists

Merge branch 'master' into 3583-provenance-graph-issue

4042: task.foreach should now accept multiple parameters and generate tasks
based on the cartesian product of all input lists.

4036: update the test that combines files from within a collection to expect the new collection in current project, if applicable and writable.

3775: Merge branch 'master' into 3775-fetch-git-repo

Merge branch 'master' into 4036-combine-collections-in-project-issue

4036: when files in a collection are combined, create the new collection in the original collection's project, provided it is writable.

Merge branch 'master' into 3769-throttle-logs

Conflicts:
services/api/script/crunch-dispatch.rb

Merge branch '3052-crunch-log-stdout' closes #3052

Merge branch 'master' into 3052-crunch-log-stdout

3052: Change ruby style ruby style {:stderr => ''} to json style {stderr: ''}

Merge branch '3782-large-job-logs'

Closes #3782.

3782: fix FuseSharedTest

4036: update combine collection tests to expect the newly created collection in the right project.

Add test fixture to fix "test_cancel_someone_else's_visible_job" refs #3859

4036: improve rails flash message display to check if the message is an error.

Merge branch 'master' into 3583-provenance-graph-issue

3583: replace " characters with \" in node value to ensure graph does not get mixed up on node labels.

Merge branch 'master' of git.curoverse.com:arvados into 4036-combine-collections-in-project-issue

4046: when combining collections in a project, set current project as owner (if writable) and show the new collection.

Merge branch '3859-api-job-lock-method' refs #3859

3769: Tweak throttle/truncate messages and application.default.yml defaults.

3769: Add rate_limit with log throttling logic.  Multiple configuration
parameters to throttle excessive logging by bytes, lines, logs table events,
and total logged output.

3782: code review feedback

* Fixed whitespace, JavaScript style in _show_log.html.erb
* Removed unused bytecount variable from file_enumerator
* Changed the new job and collection fixtures to have the job uuid match
  the uuid listed in the log.

3782: added state to job fixture

Merge branch 'master' into 3782-large-job-logs

Conflicts:
services/api/test/fixtures/collections.yml
services/api/test/fixtures/jobs.yml

Merge branch '3782-stub-file-content' refs #3782

3782: Merge branch 'master' into 3782-stub-file-content

Merge branch '3052-crunch-log-stdout' into 3769-throttle-logs

3782: Use stubbed file content for "inactive user can retrieve user agreement" test.

Merge branch '4000-rerun-pipeline-changed-template'

Closes #4000.

4000: update both functional tests.

Merge branch 'master' into 3769-throttle-logs

4000: tighten up functional test

Updated the test to ensure that a copied pipeline instance actually has
the expected script_parameters from both the source instance and source
template, respectively.

Use job state field instead of running/success columns. refs #3898

3782: bugfix and added integration test

* Fixed bug where log viewer would always request partial log and receive
  206, even when total log size is shorter than log_viewer_max_bytes.
* Added integration tests:
** set up KEEP_LOCAL_STORE with dummy log
** test retrieving full job log
** test retrieving partial job log

Merge branch 'master' into 3583-provenance-graph-issue

3583: replace " characters with ' characters in node value to ensure graph does not get mixed up on node labels.

3859: unit test for job state changes

3782: Merge branch 'master' into 3782-stub-file-content

3782: Remove obsolete helper method.

3769: Allow up to crunch_limit_log_event_throttle_rate per
crunch_limit_log_event_throttle_period, then silence the logs until the next
crunch_limit_log_event_throttle_period.

3859: Added AlreadyLockedError for job lock conflict.  Added runningbarbaz
fixture so test "cancel someone else's visible job" is testing the right thing.

Merge branch '4004-restore-dashboard-buttons' closes #4004

4004: Add newlines for readability

3775: Fix crunch-job exit status: exit non-zero after "freeze"
path (which includes task failure, INT, TERM, etc.)

Also fix wrong todo list (and therefore todo count in progress stats)
after permanent task failure.

3899: Fix for counting complete/failed components refs #3899

3859: Add functional test for locking and fix tests broken by validate_state_change.

Merge branch 'master' into 3859-api-job-lock-method

Merge branch 'master' into 3859-crunch-job-use-lock

4000: fix copying pipeline instances with newer templates

* When copying script parameters from a pipeline instance, check that
  the component exists in the source instance before blindly
  dereferencing it.
* Added tests for copying when components=use_latest and when
  script=use_same (the two edge cases exposed by this bug)

3959: crunch-job use job locking API

3859: Cleaned up validate_state_change.  Added unit test for job locking.

4004: Rename "Compute status" to "Compute and job status".  Added integration
tests for buttons.  Reduced dashboard page rendering time by at least 25% by
batching certain API server requests (previously happing per-object),

3782: check for Content-Range header in response

Change the logic for detecting whether the log has been truncated to:
* response status code is 206
* a Content-Range header is present with 'bytes 0-x/y'
* x + 1 < y

Add a "download full log" link that is present when the full log is
available to be viewed.

Merge branch '3961-uuid-assignment-not-permitted'

Closes #3961.

3961: fix FuseSharedTest

Added new active_user collection to the FuseSharedTest.

3052: Style tweak, iterate over j[:buf] to read streams

Merge branch '3961-uuid-assignment-not-permitted'

Closes #3961.

3961: more explicit assertions and error text

3782: Isolate file_enumerator stubbing to the current test. Introduce mocha.

3052: Rename variable "std" to "stream"

Merge branch 'master' into 3634-tab-state

Conflicts:
apps/workbench/app/views/application/_content.html.erb

3961: test creating subprojects under home with duplicate names

New tests:
* unprivileged user creating a subproject under their home project, with
  an existing name, returns 422
* unprivileged user creating a subproject under their home project, with
  an existing name, and ensure_unique_name=true, succeeds

3782: keep log viewer code in _show_log.html.erb

Keep log-related restrictions in the log viewer and not in general
purpose workbench code:

* Add Rails.configuration.log_viewer_max_bytes to specify the maximum
  number of log bytes to display
* The log viewer specifies a byte limit via the HTTP Range header. The
  Content-Length of the response is set to the minimum of the 'size'
  query parameter and the byte range. If the log appears to have been
  truncated, the viewer reports it in the 'log_viewer_overview' pane.
* CollectionsController.FileStreamer either delivers the entire file
  or exactly opts[:maxbytes] bytes, whichever comes first.  It does not
  add any log-specific message.

3052: capture stdout to log in crunch-dispatch

3866: PySDK KeepClient accommodates services with IPv6 addresses.

I thought there was going to be a nicer way to construct URLs than
this, but urllib.urlunparse is still expecting the host+port as a
single string, so this approach is easier.  Closes #3866.

3782: print log lines compatible with the log viewer

When the log is truncated, make it parsable by the log viewer regex in
addToLogViewer().

Merge branch '3848-egg-default-git-tag-wip'

Closes #3848, #3952.

3848: Package version numbers use UTC timestamps.

Per note-9 in the issue.

3848: Python packages build with git tag by default.

This moves the build logic that we currently encode in Jenkins into
our setup.py, and makes it easier for developers to have versions in
sync with real users.

closes #3889
Merge branch '3889-functional-testing'

3961: reset object UUID when ensure_unique_name is set

When saving an object that has to be renamed with ensure_unique_name,
force @object.uuid to nil so that validate_uuid will not be confused
into thinking we are trying to reassign the uuid.