3826: Roll up Open() attempts into a slice and a loop.

3826: Fix up formatting cf. gofmt

3826: Just modify lastSample maps in place, instead of returning the supplied pointer.

3826: Change FindStat to OpenStatFile to eliminate redundant Stat()
calls and races. Log every time we change our mind about where to read
a given statistic.

3826: Use correct variable Sscanf. CPU stats work again.

3826: Move cpu-counting into a function.

3826: Move cpu stats into a function, fix interval reporting.

3826: Add TODO comment on FindStat.

3826: Fix up block IO stats.

3826: Tweak memory stat log format to match cpu and net.

3826: Look for stats files while polling, to get per-container stats that appear after first poll.

3826: Add a couple of easy unit tests.

3826: Change cpu time logging format to match net traffic.

3826: Skip net/dev lines with unexpected # tokens.

3826: Remove duplicate log message, add missing crunchstat: log prefix.

3826: Tweak log format.

3826: Print cumulative net io as well as interval io.

3826: Use /proc/PID/net/dev to get container net stats.

3826: Clean up cgroup id strings. Output stats for all interfaces.

3826: Add host-level network IO monitoring, and placeholder for task-level.

3826: Fix up CPU usage accounting.

3826: Remove old cruft. Dry up OpenAndReadAll.

4139: Add README to Node Manager.

Refs #4139.

4139: Add *.egg to Node Manager's .gitignore.

`python setup.py test` will automatically download dependencies to the
source directory if you don't already have them available in your
environment.  Refs #2881, #4139.

4139: Add environment configuration knobs for Node Manager tests.

These are settings I've fiddled with regularly over the course of
development, and now it looks like we're going to need to fiddle them
some more to accommodate Jenkins.  I'm exposing them as environment
variables so I can stop messing with the code appropriately.
Refs #4139.

Merge branch '4042-run-command-MxN' closes #4042

4042: Typo fixes.  Highlight run-command and script_parameters in text.  Rename
--job-parameters to --script-parameters and add mention of --dry-run mode.

Update install docs for keep→keepstore rename.

No issue #.  Reported on #arvados.

Merge branch '3381-job-progress-bar-bug' closes #3381

3381: Fix layout comment

Merge branch '2881-node-manager'

Closes #2881, #4106.

2881: Add Node Manager service.

Updated examples.

Merge branch '4042-run-command-MxN' of git.curoverse.com:arvados into 4042-run-command-MxN

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

4042: Update documentation samples.  Small fix to dry-run to allow supplying custom TASK_KEEPMOUNT.

4042: Rename bad reuse of 'p' to 'match' in expand_item.  Finish describing
$(task.outdir).  Clarify that list functions take a user parameter name.  Fix
other spelling and grammatical errors in documentation.

Merge branch '4044-crunchstat-wait' refs #4044

4044: Merge branch 'master' into 4044-crunchstat-wait

4044: Add comments to "continue" statements.

3381: Reorganize _running_components to be clearer.  Fixing workbench.

closes #3990
Merge branch '3990-owner-when-rerunning-pipeline'

3990: minor test update

4044: Clean up channel and pipe usage.

* Remove code for using one goroutine to copy stdout and stderr from
  channels to pipes. Instead, copy stderr from channel to pipe in a
  simple goroutine, and use give the child our own Stdout to use (we
  don't use it ourselves anyway).

* Rename functions (OutputChannel -> CopyChanToPipe, ReadLineByLine ->
  CopyPipeToChan).

* Add "stop" channel to shut down polling loop when child process
  exits.

* Check for errors when opening cgroup stats files. Report errors
  instead of displaying bogus stats.

* Split main() into run() and a short main() with os.Exit logic, so
  deferred functions run regardless of exit path.

* Close dangling filehandle when cgroup_cidfile succeeds.

* Fix slight divide-by-zero opportunity when elapsed==0.

* Fix condition triggering the "could not read cid file" error
  message.

Merge branch 'master' into 3990-owner-when-rerunning-pipeline

closes #3882
Merge branch '3882-cancel-already-cancelled-job'

3882: update "after_validation :update_timestamps_when_state_changes" to "before_save :update_timestamps_when_state_changes",
and also add comple more test combinations around cancelled state.

Merge branch 'master' into 3882-cancel-already-cancelled-job

Merge branch 'master' into 3990-owner-when-rerunning-pipeline

3990: rerunning pipeline from within a project with no write permission

Merge branch '3775-fetch-git-repo' closes #3775

Conflicts:
sdk/cli/bin/crunch-job

Merge branch 'master' into 3990-owner-when-rerunning-pipeline

3990: add integration tests to rerun pipeline.

Merge branch '4012-crunch-job-api-retries-wip'

Closes #4012.

4012: crunch-job retries all API operations.

This will make jobs more robust against transient errors when talking
to the API server.

3775: Fix SDK usage.

3775: Update comment

3775: Update comment

3775: Update perlpod. Use items_available. Be more conservative when
using already-cached commit sha1s, expand related comment. Move "skip
if not possible now" checks into subroutines.

Merge branch 'master' into 3990-owner-when-rerunning-pipeline

3990: refactor pipeline instances integration test to reuse logic that creates and runs a pipeline.

Merge branch '3828-keepproxy-race' closes #3828

3634: Update user setup tests for preserved tab state.

These tests assume that the page reloads after submitting Ajax
dialogs.  They started failing when we started preserving tab state.
Update the tests to expressly refresh the page.  Future improvements
might find a solution with lower overhead.

Refs #3634.

Merge branch '3775-fetch-git-repo' closes #3775

3775: Set state=Running when creating a Job in local mode.

3775: Merge branch 'master' into 3775-fetch-git-repo

Conflicts:
sdk/cli/bin/crunch-job

4042: When listing directory, return list of absolute paths

3990: set owner_uuid of a copied pipeline instance to that of the source, provided it is a project and writable by the current user.

3828: Wait for listener to start before connecting to it. Fix test
panic in listener.Close() when listener does not exist.

3828: Use defer to close pidfile. Avoids leftover pidfile if Listen fails.

3828: Remove duplicate "write pidfile" block.

arv-put parses arguments before instantiating an API client.

This helps ensure that `--help` responds quickly even if the server is
slow or down.  No issue #.

Merge branch '3634-tab-state' refs #3634

3381: Merge job_status_label and job_progress into a single job_progress
partial.  This partial renders a progress bar if the job is running, otherwise
renders a label with the job state.  The progress bar now shows only 'done'
tasks and renders the progress bar in orange if any tasks have failed.  Move
"done, failure, running, todo" from panel body to panel heading on
running_component partial.  Dashboard now uses job_progress partial with
"scaleby" to indicate pipeline progress more precisely.

closes #4046
Merge branch '4046-job-queue-position'

Merge branch 'master' into 3634-tab-state

Conflicts (resolved):
apps/workbench/app/views/application/_title_and_buttons.html.erb

Merge branch 'master' into 4046-job-queue-position

3634: add anchor to URL when switching project tabs

4046: update assert error message

Merge branch '3782-stub-io-pipe' refs #3782

Merge branch 'master' into 4046-job-queue-position

Merge branch '3825-crunch-pipe-to-arv-put-final'

Closes #3825.

3825: code review

* avoid overloading "output" (usually used for the output from a task or job than for diagnostic output from crunch)
** renamed:
*** start_output_log -> log_writer_start
*** write_output_log -> log_writer_send
*** finish_output_log -> log_writer_finish
*** output_log_is_active -> log_writer_is_active
* fixed missing semicolon

3782: Merge branch 'master' into 3782-stub-io-pipe

closes #3583
Merge branch '3583-provenance-graph-issue'

Merge branch 'master' into 3583-provenance-graph-issue

Merge branch 'master' into 4046-job-queue-position

4046: update queue_position method to increment index and add unit test.

3775: Recognize ssh short form without @ symbol. Expand comments.

Merge branch '3859-crunch-job-use-lock' closes #3859

3782: Avoid using a huge read buffer when client requests a huge range. Add test.

Merge branch 'master' into origin-3381-job-progress-bar-bug

3782: Stub IO.pipe() with StringIO instead of stubbing content with KEEP_LOCAL_STORE.

Merge branch 'master' into 3882-cancel-already-cancelled-job

3882: Change "update_timestamps_when_state_changes" from before_validation to after_validation,
so that update of success and running flags is done AFTER ensuring the state change is valid.
Otherwise, the update to success and running flags is resulting in overriding the actual state update.

3782: Restore config settings changed during tests. (copied from API server)

Merge branch '3687-grant-permission-on-repo-TC' closes #3687

3687: Merge branch 'master' into 3687-grant-permission-on-repo-TC

Merge branch '3882-cancel-already-cancelled-job-TC' into 3882-cancel-already-cancelled-job

Merge branch 'master' into 3882-cancel-already-cancelled-job

closes #4025
Merge branch '4025-move-project-button-label'