Merge branch '3187-pipeline-instance-page' into 3605-improved-dashboard

3187: Fix tests and some debug spew.

Merge branch 'master' into 3605-improved-dashboard

Conflicts:
apps/workbench/app/models/job.rb
services/api/app/models/job.rb

Merge branch '3605-node-info-field' refs #3605

Fix test

Merge branch '3705-keep-blockworklist'

Closes #3705.

3705: use %v to format interface types

Fix arv-run-pipeline-instance to not crash when template is null.  no issue #

3705: drop unnecessary 'items' from BlockWorkList

3705: use helper functions in tests

Fix test

3705: drop unnecessary current_list pointer

no issue # remove pipeline instance fixture to address failing test.
Merge branch '2875-pipeline-description'

2875: remove pipeline instance fixture and use an existing one.

Merge branch '3877-log-memory-leak' closes #3877

Make sure to run apt-get update before trying to install
openjdk-7-jre-headless into the java-bwa-samtools arvados docker image.

no issue #

Merge branch '3878-arv-mount-block-cache' closes #3878

3878: Remove raise debugging exception.

3605: Automatically reload the dashboard using ajax.

3878: Fix block cache sharing across threads so arv-mount uses a bounded amount
of memory to store block.  Also fixes bug in cache management code and cleans
some exception handler error reporting.

closes #2875
Merge branch '2875-pipeline-description'

2875: minor text update

2875: collection description is now textile and also the display is updated.

2875: remove junk migration lines

3877: Fix memory leak after "log truncated" decision. Clean up code.

3705: update for code review

* Changed the type of the NextItem channel from *list.Element to
  interface{} (i.e. a list.Element.Value)
* Better comments
* Cleaner testing framework
* TestBlockWorkListReaderBlocks to exercise the case where readers block
  when the list is exhausted, and resume when new data is supplied.

3605: Getting jobs/queue_size from API server works.  Fixed server-side
sorting.  Date rendering improvements.

3705: describe BlockWorkList flow more explicitly

Updated file comments to describe the overall data flow for a
BlockWorkList manager and worker more explicitly.

Merge remote-tracking branch 'origin/master' into 3605-improved-dashboard

3605: Finally settled on a layout.  Adding in remaining information and fixing bugs.

no issue # fix failing test to use selenium driver

2875: integration tests to verify description on pipeline templates, instances, and jobs.

Updated Gemfile to pull in changes from commit:ac594f1 refs #3187

Remove projects panels from dashboard

Merge branch '3187-pipeline-instance-page' into 3605-improved-dashboard

2875: render template description as textile attribte in show recent page

2875: add description option

2875: add initial description to pipeline instance when created using arv-run-pipeline-instance script

Merge branch 'master' into 2875-pipeline-description

closes #3654
Merge branch '3654-combine-selections'

Merge branch 'master' into 3654-combine-selections

2875: initial description on pipeline instance when the template has no name.

Working on recent pipelines/collections tables

Merge branch 'master' into 3605-improved-dashboard

3605: Dashboard compute node and pipeline status work in progress

Merge branch 'master' into 2875-pipeline-description

2875: set initial description on the new pipeline instance created by running a template.

Bug fix: manifests with extra spaces

Extend the regular expression to match manifest_text to permit more than
a single space in manifest entries (seen in e.g. 91534558193f42a2f7f8aca872e5a78d+15723)

No issue #

3654: disable search icon collection show page rather than hide it when it is not applicable.

Merge branch 'master' into 3654-combine-selections

Merge branch 'master' into 2875-pipeline-description

Conflicts:
services/api/app/models/pipeline_instance.rb
services/api/db/structure.sql

2875: add new partial to display name and description.

3605: Provide "info" field to all requesters.  Filters out any keys with text
"secret" to non-admin users.  Also fix fiddlesticks on workbench viewing
details for node.

Merge branch '3187-start-finish-timestamps-tasks-pipelines' refs #3187

Fixed typo Y% -> %Y

3187: Text tweaks.

3654: update tests to match the selection dropdown text changes.

2875: add description to jobs and pipeline_instances.

3187: Setting dates to locale works.

Merge branch 'master' into 3654-combine-selections

3654: move the checkbox to the left of the row in collection show page. also, fixed a bug where the newly added selection dropdown shows up in the collection file chooser popup.

Merge branch '3187-start-finish-timestamps-tasks-pipelines' into 3187-pipeline-instance-page

3187: Update the task start time when the task actually starts.

3187: Generalized reloading to reload other parts of the page in addition to
just tabs.  Panel reloading no longer messes up collapsable panel state.

Fallout from #3036: the test for the checkbox value on acceptance of the
user agreement was expecting a keep hash, rather than an Arvados UUID.

This fixes accepting the user agreement (if one or more are present).

refs #3036

3654: add a default name to newly created combined collection

3705: replace pullmgr with a BlockWorkList

Merge branch 'master' into 3654-combine-selections

3187: Tested and fixed and time calculation algorithm.

Clean up manifest whitespace in split-fastq.

The previous code was generating two spaces between the stream name
and block list, because it had the space from as_manifest() as well as
its own join.  This yielded an invalid manifest.

No issue #.

Merge branch 'master' into 3187-start-finish-timestamps-tasks-pipelines

3187: Added algorithm to calculate wall clock run time from a set of overlapping ranges (i.e. concurrent jobs).

3705: add BlockWorkList and unit tests

3187: Lots of work on presentation of job details, calculating time and
concurrency factors.

Prevent PySDK CollectionReader from sending UUIDs to Keep.

No issue #.  I tickled this while I was working on #3147.  Ward saw
the apparent symptom come up in a Job log, so I'm pushing the fix at
his request.  I have a test prepared in my branch, along with a bunch
of test infrastructure.

3187: Added queue_position field to job response.

3846: Improve timeout handling in PySDK KeepClient.

* Catch socket errors (including timeouts) and treat them as
  transient with regard to retry logic.
* Increase the default timeout to 5 minutes.  Given how long it can
  take to PUT 64MiB to a proxy and wait for two servers to return
  success, this seems like a reasonable default.  Future improvements
  could set different timeouts based on the request type and whether
  or not we're talking to a proxy.

Closes #3846.

3842: Keep::Manifest concatenates file information from manifest.

The previous implementation failed to consider the possibility that
file information would be spread across multiple lines of a manifest.
This would cause, e.g., the same file to be yielded many times from
each_file.

This requirement makes it impossible to return file size information
without parsing the entire manifest.  Because of that, I have reworked
the Ruby SDK API so that method names are more consistent with their
performance characteristics.  I have also added some methods to do
some basic file existence checking that do not require parsing the
whole manifest.

Closes #3842.  Refs #3720.

3187: Record started_at and finished_at for tasks and pipelines.

Merge branch 'master' into 3654-combine-selections

3654: display show icon for files only when the file suffix is one of txt, gif etc. Also, fixed a bug in summary html where the collection show was failing when finished_at is not available.

#3830: Make crunch-job's git calls more robust.

* Check git's exit status and only continue on 0.
* Log git's exit status after optional calls.
* Always log the resolved commit hash when it's found.

Hopefully this will prevent a recurrence of refs #3830, or help rule
out some possibilities if it does happen.  Tested by hand on 4xphq.

3187: Migration to add started_at and finished_at to job_tasks and pipeline_instances.

Merge branch 'master' into 3654-combine-selections

Merge branch '3453-arv-list-docker-images' closes #3453, #3472, refs #3125

3453: Rename check_project_exists to desired_project_uuid.  Now raises and
catches distinct apiclient.errors.Error, ValueError errors for project not
found or invalid uuid.

Merge branch '3586-job-priority' closes #3586

Merge branch 'master' into 3586-job-priority closes #3586

Merge branch '3644-arv-mount-projects' closes #3644

3453: Refactored arv-put to remove support for name links, correctly use
ensure_name_unique to prevent name collisions.  arv-keepdocker should now
correctly handle cases where the user provides a image hash instead of
repository/tag. Fixed tests.

3644: Update tests broken by merge

3823: bug fixes for arvados-bcbio-nextgen.py

Refs #3823

3644: Moved some common regex patterns into SDK

Merge branch 'master' into 3644-arv-mount-projects

3644: Restore 'tag' tests and add 'SharedDirectory' and 'HomeDirectory' tests.
All tests should pass now.

Merge branch '3663-collection-reader-performance'

Closes #3663.

Merge branch 'master' into 3654-combine-selections

3453: Add ensure_unique_name=True to collection create.

3654: redirection to newly created collection is now working.

Merge branch 'master' into 3453-arv-list-docker-images