4044: Add comments to "continue" statements.

4044: Clean up channel and pipe usage.

* Remove code for using one goroutine to copy stdout and stderr from
  channels to pipes. Instead, copy stderr from channel to pipe in a
  simple goroutine, and use give the child our own Stdout to use (we
  don't use it ourselves anyway).

* Rename functions (OutputChannel -> CopyChanToPipe, ReadLineByLine ->
  CopyPipeToChan).

* Add "stop" channel to shut down polling loop when child process
  exits.

* Check for errors when opening cgroup stats files. Report errors
  instead of displaying bogus stats.

* Split main() into run() and a short main() with os.Exit logic, so
  deferred functions run regardless of exit path.

* Close dangling filehandle when cgroup_cidfile succeeds.

* Fix slight divide-by-zero opportunity when elapsed==0.

* Fix condition triggering the "could not read cid file" error
  message.

Merge branch '3775-fetch-git-repo' closes #3775

Conflicts:
sdk/cli/bin/crunch-job

Merge branch '4012-crunch-job-api-retries-wip'

Closes #4012.

4012: crunch-job retries all API operations.

This will make jobs more robust against transient errors when talking
to the API server.

3775: Fix SDK usage.

3775: Update comment

3775: Update comment

3775: Update perlpod. Use items_available. Be more conservative when
using already-cached commit sha1s, expand related comment. Move "skip
if not possible now" checks into subroutines.

Merge branch '3828-keepproxy-race' closes #3828

3634: Update user setup tests for preserved tab state.

These tests assume that the page reloads after submitting Ajax
dialogs.  They started failing when we started preserving tab state.
Update the tests to expressly refresh the page.  Future improvements
might find a solution with lower overhead.

Refs #3634.

Merge branch '3775-fetch-git-repo' closes #3775

3775: Set state=Running when creating a Job in local mode.

3775: Merge branch 'master' into 3775-fetch-git-repo

Conflicts:
sdk/cli/bin/crunch-job

3828: Wait for listener to start before connecting to it. Fix test
panic in listener.Close() when listener does not exist.

3828: Use defer to close pidfile. Avoids leftover pidfile if Listen fails.

3828: Remove duplicate "write pidfile" block.

arv-put parses arguments before instantiating an API client.

This helps ensure that `--help` responds quickly even if the server is
slow or down.  No issue #.

Merge branch '3634-tab-state' refs #3634

closes #4046
Merge branch '4046-job-queue-position'

Merge branch 'master' into 3634-tab-state

Conflicts (resolved):
apps/workbench/app/views/application/_title_and_buttons.html.erb

Merge branch 'master' into 4046-job-queue-position

3634: add anchor to URL when switching project tabs

4046: update assert error message

Merge branch '3782-stub-io-pipe' refs #3782

Merge branch 'master' into 4046-job-queue-position

Merge branch '3825-crunch-pipe-to-arv-put-final'

Closes #3825.

3825: code review

* avoid overloading "output" (usually used for the output from a task or job than for diagnostic output from crunch)
** renamed:
*** start_output_log -> log_writer_start
*** write_output_log -> log_writer_send
*** finish_output_log -> log_writer_finish
*** output_log_is_active -> log_writer_is_active
* fixed missing semicolon

3782: Merge branch 'master' into 3782-stub-io-pipe

closes #3583
Merge branch '3583-provenance-graph-issue'

Merge branch 'master' into 3583-provenance-graph-issue

Merge branch 'master' into 4046-job-queue-position

4046: update queue_position method to increment index and add unit test.

3775: Recognize ssh short form without @ symbol. Expand comments.

Merge branch '3859-crunch-job-use-lock' closes #3859

3782: Avoid using a huge read buffer when client requests a huge range. Add test.

3782: Stub IO.pipe() with StringIO instead of stubbing content with KEEP_LOCAL_STORE.

3782: Restore config settings changed during tests. (copied from API server)

Merge branch '3687-grant-permission-on-repo-TC' closes #3687

3687: Merge branch 'master' into 3687-grant-permission-on-repo-TC

closes #4025
Merge branch '4025-move-project-button-label'

4025: Change the button label 'Move...' to 'Move <object_class>...' and update test assertion accordingly.

Merge branch 'master' into 4025-move-project-button-label

Conflicts:
apps/workbench/app/views/application/_title_and_buttons.html.erb

3687: Add comment about redundant lookup.

3687: OK here just means this loop is OK, not everything is OK!

3687: in User#can?, consider permission links with head_uuid pointing directly at the target.

closes #4036
Merge branch '4036-combine-collections-in-project-issue'

3687: add functional test for sharing within a group

Test that two unprivileged users in the same group can share collections.

3634: If a link has the class "force-cache-reload", then on browser-back the page will be reloaded
(a modal will be shown to the user while the reload is occurring)

3634: set the response to ask the browser nicely to never cache
(even though it will use its "bfcache" anyway for many cases)

3775: Merge branch 'master' into 3775-fetch-git-repo

3775: Remove redundant log message.

3775: Clean up reporting of exit codes: say "0 with signal 2", not "512".

3775: Add TODO comments in suspicious-looking collate_output corners.

3775: Run local/dev jobs on code from arbitrary remote git repositories.

* repository is a local path X -> use local repository X or X/.git.

* repository is a git url (git://, https://, git@host:repo.git, etc)
  fetch branches, tags, and objects from the remote and use the result
  to resolve script_version to a commit sha1 and run the job.

* else -> look up the named repository in Arvados and use its
  fetch_url as a remote git url as above.

* --git-dir is given on the command line -> use that instead of
  $Job->{repository} in the above logic. (This isn't new. It ensures
  we don't go off fetching arbitrary remotes when crunch-dispatch.rb
  has already pulled the code into its own internal git repo.)

Incidental changes:

* Lose support for looking up subversion revision numbers using
  git-svn tags.

* Lose support for CRUNCH_DEFAULT_GIT_DIR environment variable. Pass
  --git-dir instead.

* Improve log messages during checkout/install phase.

4036: add comment for flash alert div

Merge branch 'master' into 4036-combine-collections-in-project-issue

3775: Remove stagnant $job_has_uuid flag. Every job has a uuid. The
only time to skip updating the job record on the server side is when
croak() happens before $Job is created/fetched.

3775: Fix syntax error 2 commits ago.

Merge branch 'master' into 3634-tab-state

4025: add fa-fw to the newly added i tag class like all other such usages.

4205: add tooltips to pipeline instance tab line buttons

Merge branch 'master' into 4025-move-project-button-label

4025: add tooltips to some of the tab line buttons and also adjust the title of the "Move" button.

3825: write log output directly to a pipe.

Added functions:
* start_output_log($logfilename)
* write_output_log($txt)
* finish_output_log()
* output_log_is_active()

Rewrote all code that referenced $local_logfile in terms of these
functions.

Merge branch '3769-throttle-logs' closes #3769

3769: Spelling fix and remove debugging puts.

4036: correct div class

3583: extend encode quotes logic for script parameters as well, just in case.

Merge branch 'master' into 3583-provenance-graph-issue

4036: update the test that combines files from within a collection to expect the new collection in current project, if applicable and writable.

3775: Merge branch 'master' into 3775-fetch-git-repo

Merge branch 'master' into 4036-combine-collections-in-project-issue

4036: when files in a collection are combined, create the new collection in the original collection's project, provided it is writable.

Merge branch 'master' into 3769-throttle-logs

Conflicts:
services/api/script/crunch-dispatch.rb

Merge branch '3052-crunch-log-stdout' closes #3052

Merge branch 'master' into 3052-crunch-log-stdout

3052: Change ruby style ruby style {:stderr => ''} to json style {stderr: ''}

Merge branch '3782-large-job-logs'

Closes #3782.

3782: fix FuseSharedTest

4036: update combine collection tests to expect the newly created collection in the right project.

Add test fixture to fix "test_cancel_someone_else's_visible_job" refs #3859

4036: improve rails flash message display to check if the message is an error.

Merge branch 'master' into 3583-provenance-graph-issue

3583: replace " characters with \" in node value to ensure graph does not get mixed up on node labels.

Merge branch 'master' of git.curoverse.com:arvados into 4036-combine-collections-in-project-issue

4046: when combining collections in a project, set current project as owner (if writable) and show the new collection.

Merge branch '3859-api-job-lock-method' refs #3859

3769: Tweak throttle/truncate messages and application.default.yml defaults.

3769: Add rate_limit with log throttling logic.  Multiple configuration
parameters to throttle excessive logging by bytes, lines, logs table events,
and total logged output.

3782: code review feedback

* Fixed whitespace, JavaScript style in _show_log.html.erb
* Removed unused bytecount variable from file_enumerator
* Changed the new job and collection fixtures to have the job uuid match
  the uuid listed in the log.

3782: added state to job fixture

Merge branch 'master' into 3782-large-job-logs

Conflicts:
services/api/test/fixtures/collections.yml
services/api/test/fixtures/jobs.yml

Merge branch '3782-stub-file-content' refs #3782

3782: Merge branch 'master' into 3782-stub-file-content

Merge branch '3052-crunch-log-stdout' into 3769-throttle-logs

3782: Use stubbed file content for "inactive user can retrieve user agreement" test.

Merge branch '4000-rerun-pipeline-changed-template'

Closes #4000.

4000: update both functional tests.

Merge branch 'master' into 3769-throttle-logs