Collections fixup: Add docstrings about num_retries.

arv-get fixup: Prevent race condition, better error reporting.

3147: crunch-job retries data uploads more for longer-running jobs.

3147: Add retry support to FUSE driver.

3147: FUSE driver requires a Python SDK with retry support.

I also took out some of the older log-handling code while I was at it,
since the stricter versioning makes it unnecessary.

3147: Add retry support to PySDK list_all utility.

3147: Add retry support to Python CLI tools.

3147: Add retry support to PySDK Collection objects.

This required updating the FUSE driver's SafeApi object to better
imitate a real API object, now that CollectionReader will pass it down
to the underlying KeepClient.

3147: Add retry support to PySDK StreamReader classes.

3147: Make PySDK KeepClient.get and put retry_methods.

3147: Add retry_method to the Python SDK.

This gives us a way to make retry support flexible and consistent
across SDK classes.  Any class that has retryable operations should
take a num_retries argument at initialization.  Then, the specific
methods that implement those operations should also take a num_retries
argument, which will fall back to the instance's setting by default.
This lets SDK users express their retry preferences wherever it's most
convenient for them.

3147: Fix variable name typo.

This variable was renamed in previous branch work, but this last user
of it wasn't caught until just now.

3147: PySDK StreamReader instantiates a KeepClient late.

Similarly with API client instantiation in KeepClient, this helps with
testing.  Refs #3693.

3147: Move PySDK HTTP test infrastructure to testutil.

Making this available to other test collections.

3147: PySDK tests use mock>=1.0 and easier mock side_effect.

no issue # remove pipeline instance fixture to address failing test.
Merge branch '2875-pipeline-description'

2875: remove pipeline instance fixture and use an existing one.

Merge branch '3877-log-memory-leak' closes #3877

Make sure to run apt-get update before trying to install
openjdk-7-jre-headless into the java-bwa-samtools arvados docker image.

no issue #

Merge branch '3878-arv-mount-block-cache' closes #3878

3878: Remove raise debugging exception.

3878: Fix block cache sharing across threads so arv-mount uses a bounded amount
of memory to store block.  Also fixes bug in cache management code and cleans
some exception handler error reporting.

closes #2875
Merge branch '2875-pipeline-description'

2875: minor text update

2875: collection description is now textile and also the display is updated.

2875: remove junk migration lines

3877: Fix memory leak after "log truncated" decision. Clean up code.

no issue # fix failing test to use selenium driver

2875: integration tests to verify description on pipeline templates, instances, and jobs.

Updated Gemfile to pull in changes from commit:ac594f1 refs #3187

2875: render template description as textile attribte in show recent page

2875: add description option

2875: add initial description to pipeline instance when created using arv-run-pipeline-instance script

Merge branch 'master' into 2875-pipeline-description

closes #3654
Merge branch '3654-combine-selections'

Merge branch 'master' into 3654-combine-selections

2875: initial description on pipeline instance when the template has no name.

Merge branch 'master' into 2875-pipeline-description

2875: set initial description on the new pipeline instance created by running a template.

Bug fix: manifests with extra spaces

Extend the regular expression to match manifest_text to permit more than
a single space in manifest entries (seen in e.g. 91534558193f42a2f7f8aca872e5a78d+15723)

No issue #

3654: disable search icon collection show page rather than hide it when it is not applicable.

Merge branch 'master' into 3654-combine-selections

Merge branch 'master' into 2875-pipeline-description

Conflicts:
services/api/app/models/pipeline_instance.rb
services/api/db/structure.sql

2875: add new partial to display name and description.

Merge branch '3187-start-finish-timestamps-tasks-pipelines' refs #3187

Fixed typo Y% -> %Y

3654: update tests to match the selection dropdown text changes.

2875: add description to jobs and pipeline_instances.

Merge branch 'master' into 3654-combine-selections

3654: move the checkbox to the left of the row in collection show page. also, fixed a bug where the newly added selection dropdown shows up in the collection file chooser popup.

3187: Update the task start time when the task actually starts.

Fallout from #3036: the test for the checkbox value on acceptance of the
user agreement was expecting a keep hash, rather than an Arvados UUID.

This fixes accepting the user agreement (if one or more are present).

refs #3036

3654: add a default name to newly created combined collection

Merge branch 'master' into 3654-combine-selections

Clean up manifest whitespace in split-fastq.

The previous code was generating two spaces between the stream name
and block list, because it had the space from as_manifest() as well as
its own join.  This yielded an invalid manifest.

No issue #.

Merge branch 'master' into 3187-start-finish-timestamps-tasks-pipelines

Prevent PySDK CollectionReader from sending UUIDs to Keep.

No issue #.  I tickled this while I was working on #3147.  Ward saw
the apparent symptom come up in a Job log, so I'm pushing the fix at
his request.  I have a test prepared in my branch, along with a bunch
of test infrastructure.

3846: Improve timeout handling in PySDK KeepClient.

* Catch socket errors (including timeouts) and treat them as
  transient with regard to retry logic.
* Increase the default timeout to 5 minutes.  Given how long it can
  take to PUT 64MiB to a proxy and wait for two servers to return
  success, this seems like a reasonable default.  Future improvements
  could set different timeouts based on the request type and whether
  or not we're talking to a proxy.

Closes #3846.

3842: Keep::Manifest concatenates file information from manifest.

The previous implementation failed to consider the possibility that
file information would be spread across multiple lines of a manifest.
This would cause, e.g., the same file to be yielded many times from
each_file.

This requirement makes it impossible to return file size information
without parsing the entire manifest.  Because of that, I have reworked
the Ruby SDK API so that method names are more consistent with their
performance characteristics.  I have also added some methods to do
some basic file existence checking that do not require parsing the
whole manifest.

Closes #3842.  Refs #3720.

3187: Record started_at and finished_at for tasks and pipelines.

Merge branch 'master' into 3654-combine-selections

3654: display show icon for files only when the file suffix is one of txt, gif etc. Also, fixed a bug in summary html where the collection show was failing when finished_at is not available.

#3830: Make crunch-job's git calls more robust.

* Check git's exit status and only continue on 0.
* Log git's exit status after optional calls.
* Always log the resolved commit hash when it's found.

Hopefully this will prevent a recurrence of refs #3830, or help rule
out some possibilities if it does happen.  Tested by hand on 4xphq.

3187: Migration to add started_at and finished_at to job_tasks and pipeline_instances.

Merge branch 'master' into 3654-combine-selections

Merge branch '3453-arv-list-docker-images' closes #3453, #3472, refs #3125

3453: Rename check_project_exists to desired_project_uuid.  Now raises and
catches distinct apiclient.errors.Error, ValueError errors for project not
found or invalid uuid.

Merge branch '3586-job-priority' closes #3586

Merge branch 'master' into 3586-job-priority closes #3586

Merge branch '3644-arv-mount-projects' closes #3644

3453: Refactored arv-put to remove support for name links, correctly use
ensure_name_unique to prevent name collisions.  arv-keepdocker should now
correctly handle cases where the user provides a image hash instead of
repository/tag. Fixed tests.

3644: Update tests broken by merge

3823: bug fixes for arvados-bcbio-nextgen.py

Refs #3823

3644: Moved some common regex patterns into SDK

Merge branch 'master' into 3644-arv-mount-projects

3644: Restore 'tag' tests and add 'SharedDirectory' and 'HomeDirectory' tests.
All tests should pass now.

Merge branch '3663-collection-reader-performance'

Closes #3663.

Merge branch 'master' into 3654-combine-selections

3453: Add ensure_unique_name=True to collection create.

3654: redirection to newly created collection is now working.

Merge branch 'master' into 3453-arv-list-docker-images

Added create#ensure_unique_name to discovery document.  "Add a subproject"
button now uses "ensure_unique_name" to avoid errors when the user creates more
than one project called "New project".  refs #3822

3453: Create links and collection objects in the specified project, even if
the docker image has already been uploaded to some other project.

Merge branch 'master' into 3654-combine-selections

3654: slight update to redirect to newly created collection

3654: little cleanup around the post method

3654: use POST method to combine selections.

Updated Gemfile again with published package version.  refs #3822

Merge branch '3822-ensure-unique-names' refs #3822

Conflicts:
services/api/Gemfile
services/api/Gemfile.lock

3822: Updated Gemfile

3822: Fixed use of string instead of symbol in hash, added missing list separator.

3822: Added 'ensure_unique_name' option to #create method for API server to
choose a unique name when there is a name collision in the database.
arv-run-pipeline-instance checks to see if there is an output file with the
same name and contents, and uses 'ensure_unique_name' when creating collection.

3654: combine options is enabled when only data collections are selected in project view.

3654: add selection dropdown to collections page

3654: test update

Merge branch 'master' into 3654-combine-selections

3654: add selection dropdown to collections page

3654: add selection dropdown to collections page

3654: add selection dropdown to collection#show page

3654: add integration and funtional tests for combining collections and collection contents.