2883: Moved addToLogViewer function out of the template and into assets and
reformatted it properly.

2883: Added filtering for crunchstat, slurm log lines.

2883: Removed commented out code related to live loading (saved it to another branch).

2883: Adjusted task type column width.  Commented out code for working with
live-updating logs, it almost works but there are some complications.

2883: Adjust timestamp display based on timezone and locale.

2883: Live updating log wip

2883: Styling column widths so they don't jump around when filters are turned
on and off.

2883: Moved hardcoded styles out into a stylesheet.

2883: Log viewer works, supports sorting and filtering.

2883: Initial work on fetching and parsing job log

Bugfix: the discovery doc should not clobber defaults values with the
word 'string'. Instead, make sure the default values are always exposed
as a string, which is something the java google apiclient is sensitive
to.

Refs no issue #

Added error-handler for x-editable that extracts Arvados API error field for
display, closes #2819

Merge branch '2961-load-tab-partials' closes #2961

arv-run-pipeline-instance should not keep trying to create jobs when the
API server returns an error on job creation.

This closes #3005

Merge branch '2826-simple-go-sdk' closes #2826

Fix inconsistent JSON error return behavior on job create.

refs #3004

Merge branch '2880-crunch-dispatch-node-constraints'

Closes #2880, #2976, #2993.

2880: Don't dispatch Jobs until runtime constraints are met.

This retains the same FIFO approach to the Job queue that
crunch-dispatch currently uses, but now when it encounters a Job whose
constraints are not met:

* it may wait for a while to see if the Node Manager makes Nodes
  available, if it hasn't done that this hour; and

* it leaves that Job in the queue and tries to process the next one.

See #2880 for further background.  The exact parameters of "waiting
for Nodes" will probably need tuning, but that will be easier to do
after it's been in production for a while.

2880: Improve error reporting when crunch-dispatch updates node status.

2880: crunch-dispatch must stop putting symbols in the database.

2961: Removed calls to wait_for_ajax, fixes user tests.

2961: user-setup-modal-window div is no longer in footer_html because it is
loaded using AJAX.

2961: Don't call #render_index from #index on folders_controller because #index
is also used by #choose and the index does not have any tabs.

2961: Do not include meta tag for websockets if there is no websockets in the
discovery document.

2961: Fixed name of collection on collection show page to fix test.

2961: Track valid/up to date state for each panel, only reload panels when they
are out of date (based on event log) and visible to user.

2961: Added use count so ajax loading icon is accurate when there are multiple
outstanding ajax requests.

2961: Removed dangling close div.

2961: Added missing user uuid to session.

Merge branch 'master' into 2961-load-tab-partials

Fix for running workbench against server that doesn't have 'Job.supplied_script_version' yet.  refs #2939

2961: Job index needs to call super sometimes, render_index other times.

2961: Changed index methods on some controllers to use render_index instead of
super, to skip the default index query logic but still apply the tab partial
logic.

Specify server-side keep-alive ping interval for websockets.  no issue #

2961: Escaped erb used embedded in javascript.  Updated comments in
event_log.js.  Removed debug put from ApplicationController.

Add puma to the Gemfile for the API server; we use it for the websockets
server.

no issue #

2961: Collections show controller now delegates to super to handle tabs
properly.

Merge remote-tracking branch 'origin/master' into 2961-load-tab-partials

2961: Save user information as part of the session cookie, eliminates looking
up current user when rendering every page and panel, this means 2x reduction in
latency when the panel only requires 1 API lookup otherwise.

Merge branch '2857-collection-tests'

Closes #2857.

2857: strip signatures from manifests before testing equality.

As Brett observed, the "post" method in these tests mutates its
argument. For a valid test, we must ensure that the source data has not
been transformed into the result data.

For tests which do not care about validating the signatures, we just
strip out the signatures from the result manifest before comparing it to
the source.

Refs #2857.

2961: Added checks if we are rendering a tab partial and skips expensive calls
to the API server if not needed to render the requested tab pane.

Merge branch 'master' into 2857-collection-tests

Merge branch '2955-fail-orphan-jobs' closes #2955

Reverted change a0aba6d "crunch-dispatch now sends a clean environment to crunch-job"

Merge branch 'master' into 2955-fail-orphan-jobs

Reverted change a0aba6d "crunch-dispatch now sends a clean environment to crunch-job" refs #2882.

Merge branch '2880-compute-ping-stats'

Closes #2967, #2975.

2880: API server saves node statistics from pings.

Crunch will use this information when scheduling Jobs, to satisfy
specified runtime constraints.  Getting this data into the pings is
the responsibility of the node's ping script.

2882: Workbench generic create controller adds JSON href attribute.

This is a bugfix commit.  This detail got lost when create stopped
calling show to render the object.  Refs #2882.

2961: Now loads tab panes (past the first one) in the background.
Automatically triggers reload of tab panes when receiving a changed event from
websocket.

2961: Removed spurious elementId from subscribeToEventLog(). Added arv-log-event-listener[data-object-type="xxxxx"] to
match on uuid types.

Fixes PipelineInstancesControllerTest.  application_controller#create now does
the right thing based on requested response format.  refs #2882

2857: fix flaky time-sensitive tests

Allow tests to inject a mock Time object into Blob, in order to generate
consistent behavior for tests that rely on permission signatures.

Closes #2857.

Merge branch '2882-job-process-stats' refs #2882

2955: Renamed script to "cancel_stale_jobs".  Fixed spelling canceled_at -> cancelled_at.

2961: Added tab_pane query parameter which returns just the desired tab pane partial.

2955: Moved logic to clean jobs table from crunch-dispatch into a standalone
script.

2865: add traffic_test.py for testing Keep performance.

Refs #2865.

2882: Removed unnecessary no_reuse options

2955: Sets jobrecord.canceled_at when canceling/failing an orphan job.
arv-run-pipeline-instance recognizes canceled jobs when counting the number of ended jobs.

Merge branch 'master' into 2919-provenance-graph-cutoff

Merge remote-tracking branch 'origin/master' into 2882-job-process-stats

2882: Improved re-run job buttons on job status page

Merge branch 'master' into 2882-job-process-stats refs #2882

Merge branch 'origin-2939-re-run-job-button' into 2882-job-process-stats

2882: arv-mount restores signal handlers after sp.wait().  Fixed spelling ellapsed -> elapsed.

2933: Add Keep signing key configuration to Docker.

This is a little hypothetical until we Dockerize the new Keep server,
but it's necessary to get the API server running.

Refs #2933.

2933: Update Docker to use new Python package build process.

Refs #2933.

Merge branch 'master' into 2895-no-more-redis

2955: Fixed query of log table that checks for age of last log by an orphan
job.

2955: crunch-dispatch now sends a clean environment to crunch-job. (cherry-picked from #2882)

Conflicts:
services/api/script/crunch-dispatch.rb

2955: Added check that an orphan job hasn't produces any logs for 5 minutes
before automatically failing it.  arv-run-pipeline-instance will identify jobs
that are running=false and success=false as failed even if finished_at is null.

2955: Fixed refresh_running to set finished_at on failed jobs.  Increased
polling period to 30 seconds.

2865: reduce Keep memory usage.

Eliminate ioutil.ReadAll to reduce unnecessary 2x memory allocations.

* PutBlockHandler allocates a buffer exactly as long as
  req.ContentLength and fills it with io.ReadFull.

* GetBlock uses ioutil.ReadFile (which it arguably should have been
  doing in the first place).

Refs #2865.

2955: Periodically compare Job.running to @running and fail any jobs not in
@running.

2882: Explicit polling frequency

2953: crunch-job strips permission hints from output manifests.

The API server also strips permission hints from submitted
collections, and will reject it if the specified UUID doesn't match
that result.  As a consequence, this is necessary for crunch-job to
register output with the API server.

Closes #2953.

Merge remote-tracking branch 'origin/master' into origin-2939-re-run-job-button refs #2939

Conflicts:
services/api/db/schema.rb

2882: Added crunchstat service to collect cgroup stats, and added support to
crunch-job.

2895: remove arvados.jobs.log_stream from arv

Merge branch 'master' into 2895-no-more-redis

Fix workbench URL in inactive user notification e-mail.

refs #2681

Merge branch '2951-more-robust-fuse-test-teardown'

refs #2951

Retry the fusermount call up to 10 times with a small pause between
calls if it is not successful. This should make the teardown of the fuse
mount more reliable in automated testing.

refs #2951

2872: Fix attribute_editable? to play nicer with group ownership. refs #2872

2893: API server accepts all serialized parameters as JSON.

This commit takes the bugfix that was applied in 135f306e, and ensures
it's applied to all serialized attributes.

2882: crunch-dispatch now sends a clean environment to crunch-job.

2872: Change default order of folder contents. refs #2872

2872: Ensure name link tail_uuid == owner_uuid. refs #2872

Merge branch '2681-new-inactive-user-notification'

refs #2681

Merge branch 'master' into 2681-new-inactive-user-notification

Merge branch 'master' into 2919-provenance-graph-cutoff

2882: Added button to cancel a running job.

2882: arv-mount --exec forwards SIGINT and SIGTERM to the underlying subprocess.

2903: rename db migrate script with clear description

Merge branch 'master' into 2903-remove-pi-active-and-success

Conflicts:
services/api/db/schema.rb

Merge branch 'master' into 2882-job-process-stats refs #2882

Merge branch 'master' into 2681-new-inactive-user-notification

DTRT with system_user in our user test case. Partial revocation of
commit:e9fc734b