Merge branch 'master' into 2871-preload-objects

Merge branch '2955-fail-orphan-jobs' closes #2955

Reverted change a0aba6d "crunch-dispatch now sends a clean environment to crunch-job"

Merge branch 'master' into 2955-fail-orphan-jobs

Reverted change a0aba6d "crunch-dispatch now sends a clean environment to crunch-job" refs #2882.

Merge branch '2880-compute-ping-stats'

Closes #2967, #2975.

2880: API server saves node statistics from pings.

Crunch will use this information when scheduling Jobs, to satisfy
specified runtime constraints.  Getting this data into the pings is
the responsibility of the node's ping script.

2882: Workbench generic create controller adds JSON href attribute.

This is a bugfix commit.  This detail got lost when create stopped
calling show to render the object.  Refs #2882.

Fixes PipelineInstancesControllerTest.  application_controller#create now does
the right thing based on requested response format.  refs #2882

Merge branch '2882-job-process-stats' refs #2882

2955: Renamed script to "cancel_stale_jobs".  Fixed spelling canceled_at -> cancelled_at.

2955: Moved logic to clean jobs table from crunch-dispatch into a standalone
script.

2871: handle if there is no friendly_link_name in link

2871: remove trailing white space

2871: some more comments

2871: preload objects for dashboard

Merge branch 'master' into 2871-preload-objects

2871: preload_objects_for_dataclass for pipeline instances in dashboard

2871: add preload_objects_for_dataclass method to application_controller

2871: improved link_name retrieval

2865: add traffic_test.py for testing Keep performance.

Refs #2865.

2871: metadata tab using preloaded objects. wow, i can't believe how many api calls are cut down with this :)

2871: add link head_uuids to the list of to be preloaded uuids

2882: Removed unnecessary no_reuse options

Merge branch 'master' into 2871-preload-objects

2955: Sets jobrecord.canceled_at when canceling/failing an orphan job.
arv-run-pipeline-instance recognizes canceled jobs when counting the number of ended jobs.

Merge branch 'master' into 2919-provenance-graph-cutoff

Merge branch 'master' into 2871-preload-objects

2871: metadata page updated to use some preloaded collections and links; not fully done yet.

Merge remote-tracking branch 'origin/master' into 2882-job-process-stats

2882: Improved re-run job buttons on job status page

Merge branch 'master' into 2882-job-process-stats refs #2882

Merge branch 'origin-2939-re-run-job-button' into 2882-job-process-stats

2882: arv-mount restores signal handlers after sp.wait().  Fixed spelling ellapsed -> elapsed.

2871: rename get collections and log collections method names to match the format of links method.

2933: Add Keep signing key configuration to Docker.

This is a little hypothetical until we Dockerize the new Keep server,
but it's necessary to get the API server running.

Refs #2933.

2933: Update Docker to use new Python package build process.

Refs #2933.

2871: get collections methods return all collections for the given uuid.

Merge branch 'master' into 2871-preload-objects

Merge branch 'master' into 2895-no-more-redis

Merge branch 'master' into 2871-preload-objects

2871: add preload methods for collections and logs in application_controller. Use the preload methods in dashboard.

2955: Fixed query of log table that checks for age of last log by an orphan
job.

2955: crunch-dispatch now sends a clean environment to crunch-job. (cherry-picked from #2882)

Conflicts:
services/api/script/crunch-dispatch.rb

2955: Added check that an orphan job hasn't produces any logs for 5 minutes
before automatically failing it.  arv-run-pipeline-instance will identify jobs
that are running=false and success=false as failed even if finished_at is null.

2955: Fixed refresh_running to set finished_at on failed jobs.  Increased
polling period to 30 seconds.

2865: reduce Keep memory usage.

Eliminate ioutil.ReadAll to reduce unnecessary 2x memory allocations.

* PutBlockHandler allocates a buffer exactly as long as
  req.ContentLength and fills it with io.ReadFull.

* GetBlock uses ioutil.ReadFile (which it arguably should have been
  doing in the first place).

Refs #2865.

2955: Periodically compare Job.running to @running and fail any jobs not in
@running.

2882: Explicit polling frequency

2953: crunch-job strips permission hints from output manifests.

The API server also strips permission hints from submitted
collections, and will reject it if the specified UUID doesn't match
that result.  As a consequence, this is necessary for crunch-job to
register output with the API server.

Closes #2953.

Merge remote-tracking branch 'origin/master' into origin-2939-re-run-job-button refs #2939

Conflicts:
services/api/db/schema.rb

2882: Added crunchstat service to collect cgroup stats, and added support to
crunch-job.

2895: remove arvados.jobs.log_stream from arv

Merge branch 'master' into 2895-no-more-redis

2871: add helper method to get "n" number of objects of specific dataclass

Merge branch 'master' into 2871-preload-objects

2871: preload links helper method is added to workbench application_controller.

Fix workbench URL in inactive user notification e-mail.

refs #2681

Merge branch '2951-more-robust-fuse-test-teardown'

refs #2951

Retry the fusermount call up to 10 times with a small pause between
calls if it is not successful. This should make the teardown of the fuse
mount more reliable in automated testing.

refs #2951

2872: Fix attribute_editable? to play nicer with group ownership. refs #2872

2893: API server accepts all serialized parameters as JSON.

This commit takes the bugfix that was applied in 135f306e, and ensures
it's applied to all serialized attributes.

2882: crunch-dispatch now sends a clean environment to crunch-job.

2872: Change default order of folder contents. refs #2872

2872: Ensure name link tail_uuid == owner_uuid. refs #2872

Merge branch '2681-new-inactive-user-notification'

refs #2681

Merge branch 'master' into 2681-new-inactive-user-notification

Merge branch 'master' into 2919-provenance-graph-cutoff

2882: Added button to cancel a running job.

2882: arv-mount --exec forwards SIGINT and SIGTERM to the underlying subprocess.

2903: rename db migrate script with clear description

Merge branch 'master' into 2903-remove-pi-active-and-success

Conflicts:
services/api/db/schema.rb

Merge branch 'master' into 2882-job-process-stats refs #2882

Merge branch 'master' into 2681-new-inactive-user-notification

DTRT with system_user in our user test case. Partial revocation of
commit:e9fc734b

Merge branch 'master' into 2919-provenance-graph-cutoff

2919: set the left postitioning for the provenance graph calculated based on the left-nav size

2752: Show arv-put output on stdin test failure.

2755: Adjust arv-put test invocation.

This method works better with the new test layout.

2919: Reinstated absolute positioning, changed font size so that text is no
longer overflowing the graph boxes and ovals.

2752: arv-put works when it can't write a cache file.

2752: Rename test_arv_put.py.

This allows us to run specific test cases from the command-line.  The
hyphen in the filename prevented that before.

2752/2755: Move test_cmdline code to test_arv-put.

Tim and I wrote tests for arv-put simultaneously.  This commit merges
them together.

2939: Use JSON.dump instead of Oj.dump, solves the symbol keys problem.

Merge remote-tracking branch 'origin/master' into origin-2939-re-run-job-button refs #2939

Conflicts:
services/api/db/schema.rb

2939: Added repository to re-run with latest button label

2872: Remove name column from collections table.

2939: Added generic "options" parameter to #create to allow workbench pages to
specify additional parameters to be passed through to the API server.

Merge remote-tracking branch 'refs/remotes/origin/2939-create-params' into origin-2939-re-run-job-button

2939: added no_reuse, nondeterministic

2903: merge master

Merge branch 'master' into 2903-remove-pi-active-and-success

Merge branch 'master' into 2895-no-more-redis

2939: Allow caller to pass additional parameters to create API.

2895: remove redis gem

2893: Fix accepting JSON-encoded components_summary in API calls. refs #2893

2939: Added a status page for jobs that is similar to the pipeline instance
status page.  Adds two "Re-run job" buttons that allow you to re-run either the
exact version or the version that was originally supplied (usually a branch
name).  Adds a "supplied_script_version" column to jobs to remember the
original script_version contents.

Merge branch 'master' into 2895-no-more-redis

2895: remove jobs.log_tail_follow api since we are now using websockets instead of redis

Merge branch 'master' into 2681-new-inactive-user-notification