Merge branch '3147-py-collection-retries-wip2'

Closes #3147.

3147: crunch-job retries data uploads more for longer-running jobs.

3147: Add retry support to FUSE driver.

3147: FUSE driver requires a Python SDK with retry support.

I also took out some of the older log-handling code while I was at it,
since the stricter versioning makes it unnecessary.

3147: Add retry support to PySDK list_all utility.

3147: Add retry support to Python CLI tools.

3147: Add retry support to PySDK Collection objects.

This required updating the FUSE driver's SafeApi object to better
imitate a real API object, now that CollectionReader will pass it down
to the underlying KeepClient.

3147: Add retry support to PySDK StreamReader classes.

3147: Make PySDK KeepClient.get and put retry_methods.

3147: Add retry_method to the Python SDK.

This gives us a way to make retry support flexible and consistent
across SDK classes.  Any class that has retryable operations should
take a num_retries argument at initialization.  Then, the specific
methods that implement those operations should also take a num_retries
argument, which will fall back to the instance's setting by default.
This lets SDK users express their retry preferences wherever it's most
convenient for them.

3147: Fix variable name typo.

This variable was renamed in previous branch work, but this last user
of it wasn't caught until just now.

3147: PySDK StreamReader instantiates a KeepClient late.

Similarly with API client instantiation in KeepClient, this helps with
testing.  Refs #3693.

3147: Move PySDK HTTP test infrastructure to testutil.

Making this available to other test collections.

3147: PySDK tests use mock>=1.0 and easier mock side_effect.

Merge branch '3338-tab-counts' refs #3338

Merge branch 'master' into 3338-tab-counts

Merge branch '3605-queue-position-size' refs #3605

3605: Use #each_with_index instead of #each_index

Merge branch '3605-node-info-field' refs #3605

Conflicts:
services/api/db/structure.sql

3605: Do .to_i on total_cpu_cores, total_ram_mb, and total_scratch_mb in Node#ping.

3605: Add properties column to node.  Put public-facing node information (cpu
cores, RAM, scratch space) into properties field.  Info field is back to being
admin-only.

Bug fix: Added missing owner_uuid to user fixture.

No issue #.

Merge branch '3927-user-owner-uuid-not-null'

Closes #3927.

3927: add NOT NULL constraint to User.owner_uuid

Added a migration setting all users with null owner_uuid to
system_user_uuid, and enforced a NOT NULL constraint on that column.

3338: move code that sets the share_links to its own before_filter

Update Gemfiles to use latest arvados gem. refs #3550

Merge branch '3550-local-pipeline' closes #3550

3550: Merge branch 'master' into 3550-local-pipeline

Conflicts:
sdk/cli/bin/arv-run-pipeline-instance

3605: Test queue_size method and queue_position field.  Adjust "GET queue"
tests for jobs controller to test that users don't see queue items for which
they do not have permissions.

closes #2761
Merge branch '2761-diagnostic-suite'

Merge branch 'master' into 2761-diagnostic-suite

Merge branch 'update-go-sdk-documentation'

Updating Go SDK Documentation,
no issue #

no issue # - fix couple more places where description is failing on nil template name.

3411: fix failing tests

The FuseSharedTest requires "pipeline_with_template.pipelineInstance" on
my machine, but not on Jenkins. Puzzling.

No issue # -- bug fix

3338: add a 'count-change' event that the tab panes listen for, and trigger it from destroy actions

Merge branch '3411-expire-collections'

Refs #3411.

3411: added new collection fixtures owned by active_user

no issue # : fix nil issue in pipeline_templates page

3550: Fix race conditions: avoid setting running/success/finished_at
attributes until output and log have been saved.

Merge branch '3411-expire-collections'

Closes #3411.

3550: Fix running local job repeatedly on subsequent loop iterations.

3550: Add missing .andand

3411: code review feedback

* Ensure each functional test issues only one request to the controller
* $application_config['default_trash_lifetime'] -> Rails.configuration.default_trash_lifetime

2761: added some comments

Merge branch 'master' into 2761-diagnostic-suite

3550: Add missing .andand

3605: Add "queue_position" to jobs.  Also add a route on jobs controller to get
the true size of the job queue.

Merge branch '3605-node-info-field' refs #3605

Fix test

Merge branch '3705-keep-blockworklist'

Closes #3705.

Merge branch 'master' into 2761-diagnostic-suite

2761: minor updates to diagnostics test config explanation.

3705: use %v to format interface types

Fix arv-run-pipeline-instance to not crash when template is null.  no issue #

3705: drop unnecessary 'items' from BlockWorkList

3705: use helper functions in tests

3338: move the user_is_manager and shared items to the already-overridden #find_object_by_uuid method so that these are available to all the same actions

3338: fix the integration test so that it checks the on-screen collection count
rather than trying to use the fixtures which doesn't work anyway

Merge branch 'master' into 2761-diagnostic-suite

2761: update config

3705: drop unnecessary current_list pointer

no issue # remove pipeline instance fixture to address failing test.
Merge branch '2875-pipeline-description'

2875: remove pipeline instance fixture and use an existing one.

Merge branch '3877-log-memory-leak' closes #3877

2761: add diagnostics section to config

Combined all examples into one big, runable source file with syntax coloring.

Found and fixed some bugs in example code.
Added example of requesting manifest text.
Turned references to source directories into links.
syntax-colored import statemtns.

3411: code review

Feedback from code review:

* Dropped unnecessary lambda from Collection.default_scope.
* Set owner_uuid of new collection test fixtures to user 'active',
  removed unnecessary permission link test fixtures.
* Removed permit_unsigned_manifests from unit tests
* Added tests for :show and :update to expired and unexpired
  collections.
* Added rake config:check test to make sure default_trash_lifetime is at
  least 24 hours.

Make sure to run apt-get update before trying to install
openjdk-7-jre-headless into the java-bwa-samtools arvados docker image.

no issue #

Merge branch '3878-arv-mount-block-cache' closes #3878

3878: Remove raise debugging exception.

Moved file.

3550: Fix crash when --template loaded from local JSON file has no uuid.

3550: Remove extraneous "to" in usage message.

3411: set default collection expiration policy

* Added default_scope to Collections restricting them to collections that
  have not yet expired

* Added a default_trash_lifetime setting in application.default.yml,
  exposed in the discovery doc setting 'defaultTrashLifetime' (default:
  2 weeks)

* Added test fixtures to exercise fetching expired collections and
  collections that expire in the future.

3878: Fix block cache sharing across threads so arv-mount uses a bounded amount
of memory to store block.  Also fixes bug in cache management code and cleans
some exception handler error reporting.

Merge branch 'master' into 2761-diagnostic-suite

closes #2875
Merge branch '2875-pipeline-description'

2875: minor text update

2875: collection description is now textile and also the display is updated.

2875: remove junk migration lines

3877: Fix memory leak after "log truncated" decision. Clean up code.

3705: update for code review

* Changed the type of the NextItem channel from *list.Element to
  interface{} (i.e. a list.Element.Value)
* Better comments
* Cleaner testing framework
* TestBlockWorkListReaderBlocks to exercise the case where readers block
  when the list is exhausted, and resume when new data is supplied.

3705: describe BlockWorkList flow more explicitly

Updated file comments to describe the overall data flow for a
BlockWorkList manager and worker more explicitly.

3550: Update docs to match new flag name. Add note about job re-use.

Merge branch 'master' into 2761-diagnostic-suite

Conflicts:
apps/workbench/config/application.default.yml

no issue # fix failing test to use selenium driver

2875: integration tests to verify description on pipeline templates, instances, and jobs.

3550: Merge branch 'master' into 3550-local-pipeline

3550: Clarify help message, mention that there are limitations.

Updated Gemfile to pull in changes from commit:ac594f1 refs #3187

2875: render template description as textile attribte in show recent page

2875: add description option

2875: add initial description to pipeline instance when created using arv-run-pipeline-instance script

Merge branch 'master' into 2875-pipeline-description

closes #3654
Merge branch '3654-combine-selections'

Merge branch 'master' into 3654-combine-selections

2875: initial description on pipeline instance when the template has no name.

Merge branch 'master' into 2875-pipeline-description

2875: set initial description on the new pipeline instance created by running a template.

Bug fix: manifests with extra spaces

Extend the regular expression to match manifest_text to permit more than
a single space in manifest entries (seen in e.g. 91534558193f42a2f7f8aca872e5a78d+15723)

No issue #