2752: Add KeepLocator class to Python SDK.

I hope this can be one place to parse and manipulate locator strings.

2752: arv-put resumes interrupted downloads from cache.

This commit simply uses all the state-saving work in arv-put's main()
function.

2752: Add ResumeCache.restart().

This will make it easier for the user to bypass the cache.

2752: Refactor progress reporting in arv-put's CollectionWriter.

2752: Separate and test progress reporting functions.

2752: Factor out arv-put byte tally, and test.

2752: Add ResumableCollectionWriter serialization to arv-put.

2752: Add ResumeCache to arv-put.

This class encapsulates all the functionality necessary to
de/serialize ResumableWriter state.

2752: Generate cache filenames from arv-put arguments.

2752: Add basic test for arv-put.

2752: Extract common Python test methods.

I'm going to reuse these to test arv-put.

2752: Move arv-put functionality to arvados.commands.put.

This will make it easier to unit test arv-put, and make it easier for
developers to extend or customize its functionality.

2752: Move Python tests to dedicated subdirectory.

This better follows Python convention, and will let us build out our
test frameworks without cluttering the root source directories.

This change brings a small change to the way we run tests.  Pass the
directory name to the discover command:

    $ python -m unittest discover tests

2752: Add arvados.collections.ResumableCollectionWriter.

This is a subclass of CollectionWriter that only accepts data from the
filesystem.  In exchange, it can record its own state, and resume
writing from one of those states.  arv-put will use this to make the
user experience nicer if a long upload is interrupted.

2752: Implement CollectionWriter with a work queue.

This will make it easier to capture and restore state.

2752: Reuse CollectionWriter.write_file() where possible.

2752: Add method CollectionWriter.write_file().

2752: Remove trailing whitespace in arv-put.

2752: Add tests for CollectionWriter.write_directory_tree().

2752: Clean up after Python SDK Collections tests.

2752: Refactor Python SDK test_collections.

This eliminates duplication in setup and teardown code, and clarifies
dependencies between tests a bit.

2752: Clean up arv-put imports.

Merge branch '1885-keep-proxy' closes #1885

1885: Added logging of invalid requests.  Added logging when the server list is
update.  Improved KeepClient error reporting.

Merge branch 'master' into 1885-keep-proxy refs #1885

1885: Fix bug in not returning from the handler on failed authorization.
Improved logging (which uncovered the previous bug.)  Tweaked go.sh and tests.

1885: Made ServiceRoots atomically updatable, so that KeepProxy can poll for
changes in the services list without disrupting any active flows.

Merge branch 'master' into 1885-keep-proxy refs #1885

1885: GET and HEAD through the proxy work correctly now.  Added invalid API token test.

1885: Full-stack integration test (api+keep+keepproxy+keepclient) works!

Merge remote-tracking branch 'origin/master' into 1885-keep-proxy refs #1885

1885: Integration test of proxy work in progress.

1885: Stubbed out integration test for proxy

Merge branch '2798-go-keep-client' into 1885-keep-proxy refs #1885

2754: Merge branch '2754-easy-run-pipeline' refs #2754

2754: Make default parameter label more explicit.

2754: Fix css selectors in test case.

2754: Allow template to specify form label, fix up wording and formatting.

Fix crash in jobs.queue API. Add test case.

Merge branch '2798-go-keep-client' closes #2798

Changed API server to use X-External-Client instead of
X-Keep-Proxy-Required. refs #2776

Merge branch 'master' into 2798-go-keep-client

2798: Adds client side support for Keep proxy X-Keep-Desired-Replicas and
X-Keep-Replicas-Stored headers, and ARVADOS_KEEP_PROXY environment variable.
Added tests.

Merge branch 'master' of git.curoverse.com:arvados

Refs #2755.

2755: fix blob signing bug. (refs #2755)

Merge branch '2755-api-collection-permissions'

closes #2784, closes #2787

2755: incorporate code review

* lib/locator.rb renamed => app/models/locator.rb
* Relaxed Locator.parse! handling of hint content.
* Locator.parse() rescues only from ArgumentError.
* Removed blob_signing_ttl from application.yml.example.
* Collections.show only matches locators that are preceded by a space,
  when parsing manifest_text.

2755: fix merge conflicts (refs #2755)

Merge branch '2755-api-collection-permissions' of git.curoverse.com:arvados into 2755-api-collection-permissions

Refs #2755

Conflicts:
services/api/app/controllers/arvados/v1/collections_controller.rb
services/api/config/application.default.yml
services/api/config/application.yml.example
services/api/test/functional/arvados/v1/collections_controller_test.rb

Merge branch '2764-wget-collections'

Closes #2764, #2774, #2830.

2764: UI overhaul to the Collection download page.

Refs #2764, based on feedback.

2764: Fixed active_all_collections scoped token to be able to access
keep_disks.  Also some minor code cleanup in FileStreamer.

2764: Fixed scopes_allow_request to use request.request_method (the effective
HTTP method) instead of request.method (the actual HTTP method) because
workbench uses POST even for GET.

2764: Add wget-friendly Collections file page.

This new route will become the way you share authless Collection links
with others.  They can pass it to `wget -r` to download the whole
collection, nicely organized, with nothing extraneous.  Since it
doesn't try to load user information or look up related Arvados items,
it can be rendered using an API token with a very narrow scope.

Because wget respects robots.txt, this branch stops using that in
favor of the corresponding <meta> tag.  The new view only limits
indexing, so wget can follow the links on the page.

Refs #2764.

2764: Introduce show_file_links route.

Right now this just takes advantage of the provided reader token, but
we're going to extend it to provide a wget-friendly view.

2765: Tear out general Workbench reader_tokens support.

Refs #2765.  This approach is not tenable in its current form, and the
callbacks are making further development confusing, so I'm getting rid
of them.

Conflicts:
apps/workbench/test/functional/collections_controller_test.rb

2764: Reset browser session between Workbench integration tests.

Peter and I just debugged an issue where a test was falsely passing
because the session had authorization state in it.  This prevents it
from passing.

2753: Properly close entire Collection file tree in Workbench.

1904: Make Keep file EPERM test stricter.

Refs #1904.  Tom said that we want the security benefits of a 404
result, so make sure that's exactly what we get.

Merge branch '2776-keep-services-table' closes #2776

Merge branch 'master' into 2776-keep-services-table

2776: Fixed misspelled accessable->accessible.  Thanks Brett!  Tweaked
workbench icons for keep services and compute nodes.  Removed spurious print
statements.  Tighted up definitions of service_host, service_port and
service_ssl_flag in keep_disk model.

Remove obsolete secret_token.rb.

Merge branch '2770-keep-sigterm' (closes #2770)

Merge branch '2753-collection-tree-view'

Closes #2777, #2828, #2753.

2753: Add space between Workspace file tree buttons and scrollbar.

2753: Move file tree CSS to collections.css.

2753: Refactor Collection view to use library CSS.

2753: Replace Workbench file tree backgrounds with hover effect.

Based on feedback from Tom in refs #2753.  I'm still concerned about
users being able to line up buttons with filenames, so the highlight
on :hover is intended to help with that.

2753: Workbench shows Collection files in a tree.

2753: Workbench renders "0 bytes" for empty file sizes.

2753: Add Workbench Collection#files_tree.

2753: Add tests for CollectionsHelper.file_path.

2753: Make Collection filenames with existing helper.

This is pure refactoring to make the code more consistent.

Add some basic request logging to Keep.

2798: Updated keep client with buffer/streamer changes.

2798: Renamed internal messaging structs in an attempt to use the word "reader"
slightly less.  Refactored tests to reduce redundancy slightly.  Added test with large number of concurrent readers.  Rewrote "how to use" package comments and wrote a small novel about the "theory of operation".

2754: Add integration test, fix selection bugs.

2798: Tracks opening and closing of readers, will block closing AsyncStream
until all readers are closed.  Additionally, will block if too many readers are
created.

2754: Fix up instruction text and formatting.

2754: Allow editing the same parameter in two different places on the page.

mend

2798: Renamed TransferBuffer->AsyncStream, BufferReader->StreamReader,
StartTransferFromReader->AsyncStreamFromReader,
StartTransferFromSlice->AsyncStreamFromSlice.  Changed structs to use pointer
receivers instead of embedded pointer fields.  Updated tests.

2798: Renamed 'buffer' package to 'streamer'

2754: Add easy "Inputs" tab for providing required/described inputs for a pipeline instance.

Merge branch '2753-collection-metadata'

Closes #2780, #2837.

2753: Show immediate relations on Workbench Collection page.

This concept and implementation borrows a lot from the new folder UI.

2753: Move Workbench object list rendering to application_helper.

I would like to be able to reuse this functionality in the upcoming
Collections view.

2753: Add event_at data to Log fixtures.

2753: Remove older, unused Workbench provenance code.

I do not see any code that would directly render these partials;
they're not indirectly referenced in the pane list; and I can remove
the controller code and run all our tests without tripping on a
NoMethodError exception from a nil.

2776: Added test for keep_services/accessable route.

2776: Added 'accessable' route to 'keep_services'

2776: Added stub API documentation for keep_services table.

2776: Fixed run_test_server.py to work with new 'keep_services' model

2776: Fixed backwards-compatible inclusion of service_host/port/ssl_flag for keep_disks.

2776: Added Keep services page to workbench (uses default layouts)

2776: Added controller and route for keep_services, fixed tests.

2776: Added keep_services model and migration.

2755: Verify permission signatures on create.

Phase 1 of #2755: when creating a new collection, verify any permission
signatures found in the manifest.  Unsigned locators in the manifest are
implicitly permitted (to be disabled in Phase 4)

* New "Locator" class to parse, examine and manipulate Keep locators.
* Collections.create checks permission signatures in a manifest.
* Collections.show signs locators in a manifest.
* collections_controller_test.rb: new unit tests to exercise signed
  manifests and related features:
    - "create collection with signed manifest"
    - "create collection with signed manifest and explicit TTL"
    - "create fails with invalid signature"
    - "create fails with uuid of signed manifest"
    - "multiple locators per line"
    - "multiple signed locators per line"
* application.yml.example: new configuration variables
    - Rails.configuration.blob_signing_key
    - Rails.configuration.blob_signing_ttl

(refs #2755)

2776: Started adding KeepServices model.