2872: Rearrange top nav with breadcrumbs/projects bar.

2872: Rename folders to projects

2872: Hide unnecessary scroll bar

Merge branch 'master' into 2871-preload-objects

2872: updates to the new test that creates and runs pipeline instance from within a folder.

2872: added a test that creates a pipeline instance from within a folder and runs it.

2872: Fix provenance graph absolute position.

2872: add test for a pipeline instance with job associated so that the provenance graph can be tested.

2872: test now passing since the UI issue with "Resume" button is addressed.

Merge branch '2857-collection-tests'

Closes #2857.

Merge branch '2872-folder-nav' into 2872-folder-nav-tests

2872: Fix string+nil bug.

2872: Fix up pipeline instance table, show "resume" button if paused.

Merge branch 'master' into 2871-preload-objects

2872: added graph and run button checks back. the test does not pass right now due to bug in graph tab display in pipeline instance display.

2857: strip signatures from manifests before testing equality.

As Brett observed, the "post" method in these tests mutates its
argument. For a valid test, we must ensure that the source data has not
been transformed into the result data.

For tests which do not care about validating the signatures, we just
strip out the signatures from the result manifest before comparing it to
the source.

Refs #2857.

Merge branch '2872-folder-nav' into 2872-folder-nav-tests

2872: Bring back Graph pane on pipeline instance show page.

2872: when a pipeline instance still needs input, the Run button should be disabled.

Merge branch '2872-folder-nav' into 2872-folder-nav-tests

2872: updated test to work with the new ui.

2961: Added checks if we are rendering a tab partial and skips expensive calls
to the API server if not needed to render the requested tab pane.

2872: Fix auto-disable/enable "Run" button on pipeline page.

2872: On front page, only show recent pipelines and jobs that are in folders.

Merge branch 'master' into 2857-collection-tests

Merge branch '2955-fail-orphan-jobs' closes #2955

Reverted change a0aba6d "crunch-dispatch now sends a clean environment to crunch-job"

Merge branch 'master' into 2955-fail-orphan-jobs

Reverted change a0aba6d "crunch-dispatch now sends a clean environment to crunch-job" refs #2882.

Merge branch '2880-compute-ping-stats'

Closes #2967, #2975.

2880: API server saves node statistics from pings.

Crunch will use this information when scheduling Jobs, to satisfy
specified runtime constraints.  Getting this data into the pings is
the responsibility of the node's ping script.

2882: Workbench generic create controller adds JSON href attribute.

This is a bugfix commit.  This detail got lost when create stopped
calling show to render the object.  Refs #2882.

2872: update test to meet the current ui updates. the pipeline instances test still failing; possible error in ui where the Run button is enabled even when input is not provided.

Merge branch '2872-folder-nav' into 2872-folder-nav-tests

2872: Use collection name, not hash, for breadcrumbs/title/activity.

2872: Enable OK/Cancel buttons on editable popup. Lose "close" button.

2872: Tweak wording on pipeline inputs page.

2872: Fix up login behavior.

2872: Make "inactive" and "not logged in" behavior work on all pages, not just dashboard.

2872: Ensure user agreement can be viewed before being accepted.

2872: all tests are updated to reflect the new ui.

2961: Now loads tab panes (past the first one) in the background.
Automatically triggers reload of tab panes when receiving a changed event from
websocket.

2961: Removed spurious elementId from subscribeToEventLog(). Added arv-log-event-listener[data-object-type="xxxxx"] to
match on uuid types.

Fixes PipelineInstancesControllerTest.  application_controller#create now does
the right thing based on requested response format.  refs #2882

2857: fix flaky time-sensitive tests

Allow tests to inject a mock Time object into Blob, in order to generate
consistent behavior for tests that rely on permission signatures.

Closes #2857.

2872: update tests to match the new ui

Merge branch '2882-job-process-stats' refs #2882

2955: Renamed script to "cancel_stale_jobs".  Fixed spelling canceled_at -> cancelled_at.

2872: fix test

2961: Added tab_pane query parameter which returns just the desired tab pane partial.

2955: Moved logic to clean jobs table from crunch-dispatch into a standalone
script.

2872: Merge branch 'master' into 2872-folder-nav

Conflicts:
apps/workbench/app/controllers/application_controller.rb
apps/workbench/app/helpers/application_helper.rb
apps/workbench/app/models/authorized_key.rb
apps/workbench/app/models/job.rb
apps/workbench/app/models/pipeline_instance.rb
apps/workbench/app/models/user.rb
apps/workbench/app/models/virtual_machine.rb

2872: Make Show button say Show again. Fix links on collections index.

2871: handle if there is no friendly_link_name in link

2871: remove trailing white space

2871: some more comments

2871: preload objects for dashboard

Merge branch 'master' into 2871-preload-objects

2871: preload_objects_for_dataclass for pipeline instances in dashboard

2871: add preload_objects_for_dataclass method to application_controller

2871: improved link_name retrieval

2865: add traffic_test.py for testing Keep performance.

Refs #2865.

2871: metadata tab using preloaded objects. wow, i can't believe how many api calls are cut down with this :)

2871: add link head_uuids to the list of to be preloaded uuids

2882: Removed unnecessary no_reuse options

Merge branch 'master' into 2871-preload-objects

2955: Sets jobrecord.canceled_at when canceling/failing an orphan job.
arv-run-pipeline-instance recognizes canceled jobs when counting the number of ended jobs.

Merge branch 'master' into 2919-provenance-graph-cutoff

Merge branch 'master' into 2871-preload-objects

2871: metadata page updated to use some preloaded collections and links; not fully done yet.

Merge remote-tracking branch 'origin/master' into 2882-job-process-stats

2882: Improved re-run job buttons on job status page

Merge branch 'master' into 2882-job-process-stats refs #2882

Merge branch 'origin-2939-re-run-job-button' into 2882-job-process-stats

2882: arv-mount restores signal handlers after sp.wait().  Fixed spelling ellapsed -> elapsed.

2871: rename get collections and log collections method names to match the format of links method.

2933: Add Keep signing key configuration to Docker.

This is a little hypothetical until we Dockerize the new Keep server,
but it's necessary to get the API server running.

Refs #2933.

2933: Update Docker to use new Python package build process.

Refs #2933.

2871: get collections methods return all collections for the given uuid.

Merge branch 'master' into 2871-preload-objects

Merge branch 'master' into 2895-no-more-redis

Merge branch 'master' into 2871-preload-objects

2871: add preload methods for collections and logs in application_controller. Use the preload methods in dashboard.

2955: Fixed query of log table that checks for age of last log by an orphan
job.

2955: crunch-dispatch now sends a clean environment to crunch-job. (cherry-picked from #2882)

Conflicts:
services/api/script/crunch-dispatch.rb

2955: Added check that an orphan job hasn't produces any logs for 5 minutes
before automatically failing it.  arv-run-pipeline-instance will identify jobs
that are running=false and success=false as failed even if finished_at is null.

2955: Fixed refresh_running to set finished_at on failed jobs.  Increased
polling period to 30 seconds.

2865: reduce Keep memory usage.

Eliminate ioutil.ReadAll to reduce unnecessary 2x memory allocations.

* PutBlockHandler allocates a buffer exactly as long as
  req.ContentLength and fills it with io.ReadFull.

* GetBlock uses ioutil.ReadFile (which it arguably should have been
  doing in the first place).

Refs #2865.

2955: Periodically compare Job.running to @running and fail any jobs not in
@running.

2872: Fix breadcrumbs on pipeline instance compare page.

2882: Explicit polling frequency

2872: Fix links to collections from folder view.

2953: crunch-job strips permission hints from output manifests.

The API server also strips permission hints from submitted
collections, and will reject it if the specified UUID doesn't match
that result.  As a consequence, this is necessary for crunch-job to
register output with the API server.

Closes #2953.

Merge remote-tracking branch 'origin/master' into origin-2939-re-run-job-button refs #2939

Conflicts:
services/api/db/schema.rb

2872: Do not try to add name links for objects that have their own names

2872: Fix syntax

2882: Added crunchstat service to collect cgroup stats, and added support to
crunch-job.

2895: remove arvados.jobs.log_stream from arv

Merge branch 'master' into 2895-no-more-redis

2871: add helper method to get "n" number of objects of specific dataclass