Merge branch '2751-python-sdk-keep-proxy-support' closes #2751

Merge branch 'master' into 2767-doc-updates

Merge branch '2755-python-sdk-permissions'

Refs #2755.

2760: Merge branch '2760-folder-hierarchy' refs #2760

2751: Test tweak to clear settings after changing environment variables.

2865: collect garbage after each GET and PUT.

Quick fix for Keep OOM errors: reclaim memory aggressively.
Fixes #2865.

2751: Changed to "except:" to "except Exception:".  Refactored environment setup in keep_client_Test to be a bit more robust.

Merge branch 'master' of git.curoverse.com:arvados refs #1885

1885: Tests and bugfixes for -no-get and -no-put options.

2760: Merge branch 'master' into 2760-folder-hierarchy

2863: Remove debugging print from Python KeepClient.

Other tools like crunch-job parse the output of tools like arv-get and
arv-put.  Right now crunch-job is saving this debug output in the log
attribute of running jobs, which confuses several other tools like
Workbench.

Closes #2863.

2829: add X-Block-Size response header

Responses to successful GET or HEAD requests include an X-Block-Size
header.

Merge branch 'master' into 2767-doc-updates

2755: incorporate code review.

* Unit tests cover all permutations of signature/authorization when
  --enforce-permissions=false

* Keep is more forgiving about the structure of locators, permits
  locator hints of unknown type (as long as they begin with an uppercase
  letter)

* Keep delivers 400 Bad Request for requests that do not match any
  route, or are lexically invalid. 404 Not Found only for requests with
  a syntactically valid hash not found on disk.

Refs #2755.

2760: Merge branch 'master' into 2760-folder-hierarchy

2760: Disambiguate "hover" from "selected" style. Do not highlight
non-selectable rows on hover.

2755: add support for signed locators in the Python SDK.

* arvados.Keep.put() saves the response body (which may contain a
  signed locator) and returns it to the caller.

* arvados.Keep.get() passes the full signed locator to the remote Keep
  server. The bare MD5 hash is still used for caching and for
  shuffled_service_roots

* run_test_server.run_keep() takes arguments 'blob_signing_key' and
  'enforce_permissions', for testing permission signatures in unit
  tests.

* test_keep_client: new unit tests for permissions:
    - with --enforce-permissions=true:
        - GET with a signed locator works
        - GET with an unsigned locator fails
        - unauthenticated GET fails
    - with --enforce-permissions=false:
        - GET with a signed locator works
- GET with an unsigned locator works
- unauthenticated GET works

Bug fixes to permission handling in the Keep server:

* Locator hints may appear in any order; be flexible. Parse them in
  GetBlockHandler rather than in the REST router.

* Returned locators are terminated with newline (consistent with
  Warehouse, and more friendly for human debugging).

* The locator returned from a PUT request always has a size hint.

* The correct Authorization header keyword is "OAuth2", not
  "OAuth". D'oh.

* Updated unit tests to accommodate newlines, size hints and OAuth2.

Refs #2755.

2760: Merge branch 'master' into 2760-folder-hierarchy

2760: Use "My Folders" to indicate the root of my folder hierarchy.

Merge branch 'master' into 2751-python-sdk-keep-proxy-support refs #2751

Merge branch '1885-keep-proxy' closes #1885

1885: Added logging of invalid requests.  Added logging when the server list is
update.  Improved KeepClient error reporting.

Merge branch 'master' into 1885-keep-proxy refs #1885

1885: Fix bug in not returning from the handler on failed authorization.
Improved logging (which uncovered the previous bug.)  Tweaked go.sh and tests.

1885: Made ServiceRoots atomically updatable, so that KeepProxy can poll for
changes in the services list without disrupting any active flows.

Merge branch 'master' into 1885-keep-proxy refs #1885

1885: GET and HEAD through the proxy work correctly now.  Added invalid API token test.

1885: Full-stack integration test (api+keep+keepproxy+keepclient) works!

Merge remote-tracking branch 'origin/master' into 1885-keep-proxy refs #1885

1885: Integration test of proxy work in progress.

1885: Stubbed out integration test for proxy

Merge branch '2798-go-keep-client' into 1885-keep-proxy refs #1885

2751: Teaching run_test_server how to run the proxy server for testing.  Added -pid option to keep server.

Merge branch '1885-keep-proxy' into 2751-python-sdk-keep-proxy-support

1885: Added logging of invalid requests.  Added logging when the server list is
update.  Improved KeepClient error reporting.

2754: Merge branch '2754-easy-run-pipeline' refs #2754

2754: Make default parameter label more explicit.

Merge branch 'master' into 1885-keep-proxy

1885: Fix bug in not returning from the handler on failed authorization.
Improved logging (which uncovered the previous bug.)  Tweaked go.sh and tests.

Merge branch 'master' into 2767-doc-updates

2760: Use lambdas instead of defining methods with misleading scope.

2754: Fix css selectors in test case.

2754: Allow template to specify form label, fix up wording and formatting.

Fix crash in jobs.queue API. Add test case.

1885: Made ServiceRoots atomically updatable, so that KeepProxy can poll for
changes in the services list without disrupting any active flows.

Merge branch 'master' into 1885-keep-proxy

Merge branch '2798-go-keep-client' closes #2798

1885: GET and HEAD through the proxy work correctly now.  Added invalid API token test.

Merge branch 'master' into 2767-doc-updates

1885: Full-stack integration test (api+keep+keepproxy+keepclient) works!

Merge remote-tracking branch 'origin/master' into 1885-keep-proxy

1885: Integration test of proxy work in progress.

2760: Make editable? follow permissions obtained via groups/folders.

2760: Add test case.

2760: Refresh permission cache after changing group uuid or owner_uuid.

2760: Add "move to a different folder" button to folders#show.

Changed API server to use X-External-Client instead of
X-Keep-Proxy-Required. refs #2776

2760: Show folder hierarchy on regular page, not in left nav

1885: Stubbed out integration test for proxy

Merge branch '2798-go-keep-client' into 1885-keep-proxy

Merge branch 'master' into 2798-go-keep-client

2798: Adds client side support for Keep proxy X-Keep-Desired-Replicas and
X-Keep-Replicas-Stored headers, and ARVADOS_KEEP_PROXY environment variable.
Added tests.

Merge branch 'master' of git.curoverse.com:arvados

Refs #2755.

2755: fix blob signing bug. (refs #2755)

Merge branch '2755-api-collection-permissions'

closes #2784, closes #2787

2755: incorporate code review

* lib/locator.rb renamed => app/models/locator.rb
* Relaxed Locator.parse! handling of hint content.
* Locator.parse() rescues only from ArgumentError.
* Removed blob_signing_ttl from application.yml.example.
* Collections.show only matches locators that are preceded by a space,
  when parsing manifest_text.

2755: fix merge conflicts (refs #2755)

Merge branch '2755-api-collection-permissions' of git.curoverse.com:arvados into 2755-api-collection-permissions

Refs #2755

Conflicts:
services/api/app/controllers/arvados/v1/collections_controller.rb
services/api/config/application.default.yml
services/api/config/application.yml.example
services/api/test/functional/arvados/v1/collections_controller_test.rb

Merge branch '2764-wget-collections'

Closes #2764, #2774, #2830.

2764: UI overhaul to the Collection download page.

Refs #2764, based on feedback.

2764: Fixed active_all_collections scoped token to be able to access
keep_disks.  Also some minor code cleanup in FileStreamer.

2764: Fixed scopes_allow_request to use request.request_method (the effective
HTTP method) instead of request.method (the actual HTTP method) because
workbench uses POST even for GET.

2764: Add wget-friendly Collections file page.

This new route will become the way you share authless Collection links
with others.  They can pass it to `wget -r` to download the whole
collection, nicely organized, with nothing extraneous.  Since it
doesn't try to load user information or look up related Arvados items,
it can be rendered using an API token with a very narrow scope.

Because wget respects robots.txt, this branch stops using that in
favor of the corresponding <meta> tag.  The new view only limits
indexing, so wget can follow the links on the page.

Refs #2764.

2764: Introduce show_file_links route.

Right now this just takes advantage of the provided reader token, but
we're going to extend it to provide a wget-friendly view.

2765: Tear out general Workbench reader_tokens support.

Refs #2765.  This approach is not tenable in its current form, and the
callbacks are making further development confusing, so I'm getting rid
of them.

Conflicts:
apps/workbench/test/functional/collections_controller_test.rb

2764: Reset browser session between Workbench integration tests.

Peter and I just debugged an issue where a test was falsely passing
because the session had authorization state in it.  This prevents it
from passing.

2753: Properly close entire Collection file tree in Workbench.

1904: Make Keep file EPERM test stricter.

Refs #1904.  Tom said that we want the security benefits of a 404
result, so make sure that's exactly what we get.

Merge branch '2776-keep-services-table' closes #2776

Merge branch 'master' into 2751-python-sdk-keep-proxy-support

Merge branch 'master' into 2776-keep-services-table

2776: Fixed misspelled accessable->accessible.  Thanks Brett!  Tweaked
workbench icons for keep services and compute nodes.  Removed spurious print
statements.  Tighted up definitions of service_host, service_port and
service_ssl_flag in keep_disk model.

Remove obsolete secret_token.rb.

Merge branch '2770-keep-sigterm' (closes #2770)

2751: merge because git derp.

2751: Added support for keep_services table, can still use keep_disks as a fallback.

2751: Added support for keep_services table, can still use keep_disks as a fallback.

Merge branch '2753-collection-tree-view'

Closes #2777, #2828, #2753.

2753: Add space between Workspace file tree buttons and scrollbar.

2753: Move file tree CSS to collections.css.

2753: Refactor Collection view to use library CSS.

2753: Replace Workbench file tree backgrounds with hover effect.

Based on feedback from Tom in refs #2753.  I'm still concerned about
users being able to line up buttons with filenames, so the highlight
on :hover is intended to help with that.

2753: Workbench shows Collection files in a tree.

2753: Workbench renders "0 bytes" for empty file sizes.

2753: Add Workbench Collection#files_tree.

2753: Add tests for CollectionsHelper.file_path.

2753: Make Collection filenames with existing helper.

This is pure refactoring to make the code more consistent.

Add some basic request logging to Keep.

2798: Updated keep client with buffer/streamer changes.

2798: Renamed internal messaging structs in an attempt to use the word "reader"
slightly less.  Refactored tests to reduce redundancy slightly.  Added test with large number of concurrent readers.  Rewrote "how to use" package comments and wrote a small novel about the "theory of operation".