Merge branch 'update-go-sdk-documentation'

Updating Go SDK Documentation,
no issue #

no issue # - fix couple more places where description is failing on nil template name.

3411: fix failing tests

The FuseSharedTest requires "pipeline_with_template.pipelineInstance" on
my machine, but not on Jenkins. Puzzling.

No issue # -- bug fix

Merge branch '3411-expire-collections'

Refs #3411.

3411: added new collection fixtures owned by active_user

no issue # : fix nil issue in pipeline_templates page

Merge branch '3411-expire-collections'

Closes #3411.

3411: code review feedback

* Ensure each functional test issues only one request to the controller
* $application_config['default_trash_lifetime'] -> Rails.configuration.default_trash_lifetime

Merge branch '3605-node-info-field' refs #3605

Fix test

Merge branch '3705-keep-blockworklist'

Closes #3705.

3705: use %v to format interface types

Fix arv-run-pipeline-instance to not crash when template is null.  no issue #

3705: drop unnecessary 'items' from BlockWorkList

3705: use helper functions in tests

3705: drop unnecessary current_list pointer

no issue # remove pipeline instance fixture to address failing test.
Merge branch '2875-pipeline-description'

2875: remove pipeline instance fixture and use an existing one.

Merge branch '3877-log-memory-leak' closes #3877

Combined all examples into one big, runable source file with syntax coloring.

Found and fixed some bugs in example code.
Added example of requesting manifest text.
Turned references to source directories into links.
syntax-colored import statemtns.

3411: code review

Feedback from code review:

* Dropped unnecessary lambda from Collection.default_scope.
* Set owner_uuid of new collection test fixtures to user 'active',
  removed unnecessary permission link test fixtures.
* Removed permit_unsigned_manifests from unit tests
* Added tests for :show and :update to expired and unexpired
  collections.
* Added rake config:check test to make sure default_trash_lifetime is at
  least 24 hours.

Make sure to run apt-get update before trying to install
openjdk-7-jre-headless into the java-bwa-samtools arvados docker image.

no issue #

Merge branch '3878-arv-mount-block-cache' closes #3878

3878: Remove raise debugging exception.

Moved file.

3411: set default collection expiration policy

* Added default_scope to Collections restricting them to collections that
  have not yet expired

* Added a default_trash_lifetime setting in application.default.yml,
  exposed in the discovery doc setting 'defaultTrashLifetime' (default:
  2 weeks)

* Added test fixtures to exercise fetching expired collections and
  collections that expire in the future.

3878: Fix block cache sharing across threads so arv-mount uses a bounded amount
of memory to store block.  Also fixes bug in cache management code and cleans
some exception handler error reporting.

closes #2875
Merge branch '2875-pipeline-description'

2875: minor text update

2875: collection description is now textile and also the display is updated.

2875: remove junk migration lines

3877: Fix memory leak after "log truncated" decision. Clean up code.

3705: update for code review

* Changed the type of the NextItem channel from *list.Element to
  interface{} (i.e. a list.Element.Value)
* Better comments
* Cleaner testing framework
* TestBlockWorkListReaderBlocks to exercise the case where readers block
  when the list is exhausted, and resume when new data is supplied.

3705: describe BlockWorkList flow more explicitly

Updated file comments to describe the overall data flow for a
BlockWorkList manager and worker more explicitly.

no issue # fix failing test to use selenium driver

2875: integration tests to verify description on pipeline templates, instances, and jobs.

Updated Gemfile to pull in changes from commit:ac594f1 refs #3187

2875: render template description as textile attribte in show recent page

2875: add description option

2875: add initial description to pipeline instance when created using arv-run-pipeline-instance script

Merge branch 'master' into 2875-pipeline-description

closes #3654
Merge branch '3654-combine-selections'

Merge branch 'master' into 3654-combine-selections

2875: initial description on pipeline instance when the template has no name.

Merge branch 'master' into 2875-pipeline-description

2875: set initial description on the new pipeline instance created by running a template.

Bug fix: manifests with extra spaces

Extend the regular expression to match manifest_text to permit more than
a single space in manifest entries (seen in e.g. 91534558193f42a2f7f8aca872e5a78d+15723)

No issue #

3654: disable search icon collection show page rather than hide it when it is not applicable.

Merge branch 'master' into 3654-combine-selections

Merge branch 'master' into 2875-pipeline-description

Conflicts:
services/api/app/models/pipeline_instance.rb
services/api/db/structure.sql

2875: add new partial to display name and description.

3605: Provide "info" field to all requesters.  Filters out any keys with text
"secret" to non-admin users.  Also fix fiddlesticks on workbench viewing
details for node.

Merge branch '3187-start-finish-timestamps-tasks-pipelines' refs #3187

Fixed typo Y% -> %Y

3654: update tests to match the selection dropdown text changes.

2875: add description to jobs and pipeline_instances.

Included included file.

Moved code to seperate file for syntax coloring.
Switched to using arv.List instead of arv.Call.

Merge branch 'master' into 3654-combine-selections

3654: move the checkbox to the left of the row in collection show page. also, fixed a bug where the newly added selection dropdown shows up in the collection file chooser popup.

3187: Update the task start time when the task actually starts.

Fallout from #3036: the test for the checkbox value on acceptance of the
user agreement was expecting a keep hash, rather than an Arvados UUID.

This fixes accepting the user agreement (if one or more are present).

refs #3036

3654: add a default name to newly created combined collection

3705: replace pullmgr with a BlockWorkList

Merge branch 'master' into 3654-combine-selections

Clean up manifest whitespace in split-fastq.

The previous code was generating two spaces between the stream name
and block list, because it had the space from as_manifest() as well as
its own join.  This yielded an invalid manifest.

No issue #.

Merge branch 'master' into 3187-start-finish-timestamps-tasks-pipelines

3705: add BlockWorkList and unit tests

Prevent PySDK CollectionReader from sending UUIDs to Keep.

No issue #.  I tickled this while I was working on #3147.  Ward saw
the apparent symptom come up in a Job log, so I'm pushing the fix at
his request.  I have a test prepared in my branch, along with a bunch
of test infrastructure.

3846: Improve timeout handling in PySDK KeepClient.

* Catch socket errors (including timeouts) and treat them as
  transient with regard to retry logic.
* Increase the default timeout to 5 minutes.  Given how long it can
  take to PUT 64MiB to a proxy and wait for two servers to return
  success, this seems like a reasonable default.  Future improvements
  could set different timeouts based on the request type and whether
  or not we're talking to a proxy.

Closes #3846.

3842: Keep::Manifest concatenates file information from manifest.

The previous implementation failed to consider the possibility that
file information would be spread across multiple lines of a manifest.
This would cause, e.g., the same file to be yielded many times from
each_file.

This requirement makes it impossible to return file size information
without parsing the entire manifest.  Because of that, I have reworked
the Ruby SDK API so that method names are more consistent with their
performance characteristics.  I have also added some methods to do
some basic file existence checking that do not require parsing the
whole manifest.

Closes #3842.  Refs #3720.

3187: Record started_at and finished_at for tasks and pipelines.

Merge branch 'master' into 3654-combine-selections

3654: display show icon for files only when the file suffix is one of txt, gif etc. Also, fixed a bug in summary html where the collection show was failing when finished_at is not available.

#3830: Make crunch-job's git calls more robust.

* Check git's exit status and only continue on 0.
* Log git's exit status after optional calls.
* Always log the resolved commit hash when it's found.

Hopefully this will prevent a recurrence of refs #3830, or help rule
out some possibilities if it does happen.  Tested by hand on 4xphq.

3187: Migration to add started_at and finished_at to job_tasks and pipeline_instances.

Merge branch 'master' into 3654-combine-selections

Merge branch '3453-arv-list-docker-images' closes #3453, #3472, refs #3125

3453: Rename check_project_exists to desired_project_uuid.  Now raises and
catches distinct apiclient.errors.Error, ValueError errors for project not
found or invalid uuid.

Merge branch '3586-job-priority' closes #3586

Merge branch 'master' into 3586-job-priority closes #3586

Added to Go SDK documentation:

* Added link to instuctions on how to develop with bleeding edge client code.
* Fixed type error in documentation.
* Added instructions on how to view all returned fields with a map.

Merge branch '3644-arv-mount-projects' closes #3644

3453: Refactored arv-put to remove support for name links, correctly use
ensure_name_unique to prevent name collisions.  arv-keepdocker should now
correctly handle cases where the user provides a image hash instead of
repository/tag. Fixed tests.

3644: Update tests broken by merge

3823: bug fixes for arvados-bcbio-nextgen.py

Refs #3823

3644: Moved some common regex patterns into SDK

Merge branch 'master' into 3644-arv-mount-projects

3644: Restore 'tag' tests and add 'SharedDirectory' and 'HomeDirectory' tests.
All tests should pass now.

Merge branch '3663-collection-reader-performance'

Closes #3663.

Merge branch 'master' into 3654-combine-selections

3453: Add ensure_unique_name=True to collection create.

3654: redirection to newly created collection is now working.

Merge branch 'master' into 3453-arv-list-docker-images

Added create#ensure_unique_name to discovery document.  "Add a subproject"
button now uses "ensure_unique_name" to avoid errors when the user creates more
than one project called "New project".  refs #3822

3453: Create links and collection objects in the specified project, even if
the docker image has already been uploaded to some other project.

Merge branch 'master' into 3654-combine-selections

3654: slight update to redirect to newly created collection

3654: little cleanup around the post method

3654: use POST method to combine selections.