2752: arv-put writes newline after 100% human progress report.

2752: arv-put always displays 100% progress at the end.

It's okay to call writer.finish_current_stream() this way, because
every branch at the end ultimately calls it.

2752: Avoid ResumeCache name collisions from concatenating paths.

2752: arv-put checkpoints after a PUT to Keep.

This allows us to recover after a pulled-the-plug kind of failure, but
is still noticeably less overhead than checkpointing after each file.

2752: arv-put handles exit signals.

2752: Resumed collection writer doesn't do_queued_work immediately.

As noted in the comments, callers that build a writer from resumed
state must do_queued_work on it before anything else.  But this split
makes it easier to treat initialization problems and work problems
separately, which is critical.

This required refactor progress reporting a bit.

2752: Remove unused CollectionWriter checkpoint hook.

Another fix to sharing scope to use keep_services/accessible. refs #2766

Merge branch 'master' into 2752-arv-put-resume-wip

2752: arv-put only caches state on failure.

This is slightly less robust, but writing the cache after every data
flush is too expensive.

2752: Don't duplicate arv-put work after resume.

This change serializes the command-line arguments that we've actually
processed, vs. not.  That allows us to safely iterate over them again
to upload any files that we hadn't started, while skipping the ones
we've already done.

Added proper sharing scope to permit actually downloading shared files. refs #2766

2753: Fix Collection inline file view.

The height limit needs to be applied to the images themselves, rather
than the containing div.

Added rescue AccessForbiddenException to collections controller and view to
disable the "sharing link" feature when the client is untrusted. refs #2766

Merge branch '2044-share-button' refs #2766

2752: Adapt Go tests to the new Python test infrastructure.

Refs #2752.  There's two pieces to this: pointing the Go tests at the
new home of run_test_server.py, and having run_test_server.py add the
arvados module source to sys.path as needed.

Go Keep client correctly closes response body on client requests, should fix
lingering connections problem.  Also added graceful shutdown on SIGINT to
keepproxy. refs #1885

2752: arv-put displays progress quickly after resuming.

Refs #2752.

2752: arv-put displays a notice when it resumes.

Based on a suggestion from Peter in refs #2752.

2752: arv-put ResumeCache constructor only accepts path argument.

Refs #2752.  Using exceptions to accept parsed arguments in the
constructor as well was too clever by half.

Merge branch 'master' into 2752-arv-put-resume-wip

2752: Fix arv-put's write percentage output.

2752: Quiet arv-put stdin integration test.

Merge branch 'master' of git.curoverse.com:arvados

An equivalent of this script is now at services/api/script. This was done as part of Feature #2272.

2754: Merge branch '2754-pipeline-template-description' refs #2754

2754: Add migration missing from commit:fe84c84827af6092784408629e4cde0663fe6af8

2044: Fixed CollectionsController#search_scopes to use 'filter' correctly
instead of using 'where' incorrectly.  Reverted most changes to
ArvadosModel#ensure_owner_uuid_is_permitted.  Added rescue to
collections/show.html.erb when log.event_at is nil.

Do not use symbol keys in the properties of permission links.

Merge branch 'master' into 2044-share-button

Merge branch 'master' into 2752-arv-put-resume-wip

Conflicts:
sdk/python/arvados/errors.py

2892: Fix user agreement routing. closes #2892

2862: Use ?format=js so browser does not think js and html views are
interchangeable. closes #2862

2760: Merge branch '2760-not-all-objects-in-folders' refs #2760

Merge branch 'master' of git.curoverse.com:arvados

Adjusted timeout on websocket_test from 3 seconds to 4 in an attempt to reduce
the number of spurious timeouts on jenkins.

Merge branch 'master' of git.curoverse.com:arvados

Merge branch 'master' of git.curoverse.com:arvados #2751

Merge branch '2756-eventbus-in-workbench' into 2678-owned_by

Conflicts:
services/api/script/crunch-dispatch.rb

2756: fix error where partial lines were potentially logged

Merge branch 'master' of git.curoverse.com:arvados refs #2751

Merge branch '2751-python-sdk-keep-proxy-support' closes #2751

Merge branch 'master' into 2756-eventbus-in-workbench

2756: log span title

2756: fix typo in helper method signature

2756: update the ui to show job progress, and links in one column

2525: add some javadoc comments

2678: upon Tom's feedback, setting owner_uuid of the pi whether or not the pi belongs to a group.

2754: Add pipeline template description attribute.

Merge branch 'master' into 2525-java-sdk

Merge branch 'master' into 2678-owned_by

Merge branch 'master' into 2756-eventbus-in-workbench

Merge branch 'master' into 2525-java-sdk

Merge branch 'master' into 2767-doc-updates

2760: Exclude system objects like VMs and repos from folder behavior.

Merge branch '2755-python-sdk-permissions'

Refs #2755.

2752: Avoid hiccup on arv-put with short stdin.

Trying to call os.stat(os.path.realpath('/dev/stdin')) usually fails
in this case.  Since we're never going to be able to resume from stdin
anyway, don't bother with that check in this case.

Merge branch 'master' into 2525-java-sdk

2760: Merge branch '2760-folder-hierarchy' refs #2760

2751: Test tweak to clear settings after changing environment variables.

2865: collect garbage after each GET and PUT.

Quick fix for Keep OOM errors: reclaim memory aggressively.
Fixes #2865.

Merge branch '2756-eventbus-in-workbench' into 2678-owned_by

Merge branch 'master' into 2756-eventbus-in-workbench

Merge branch 'master' into 2678-owned_by

2751: Changed to "except:" to "except Exception:".  Refactored environment setup in keep_client_Test to be a bit more robust.

2678: update a-r-p-i to set the owner_uuid on the newly created job when the pi belongs to a group. also, update crunch-dspatch to create the log lines with the group's owner_uuid.

Merge branch 'master' of git.curoverse.com:arvados refs #1885

1885: Tests and bugfixes for -no-get and -no-put options.

2752: Improve arv-put initialization from cache.

This puts ArvPutCollectionWriter's own instance variables, like the
progress reporter function, in place before work is resumed.

2760: Merge branch 'master' into 2760-folder-hierarchy

2752: arv-put saves and restores write progress information.

This will make output less confusing to the user, and help them
understand that an upload is resuming.

Merge branch 'master' into 2756-eventbus-in-workbench

2863: Remove debugging print from Python KeepClient.

Other tools like crunch-job parse the output of tools like arv-get and
arv-put.  Right now crunch-job is saving this debug output in the log
attribute of running jobs, which confuses several other tools like
Workbench.

Closes #2863.

2752: Fix arg parser typo.

This is a fixup for 6c56a891.

2752: arv-put shouldn't resume from expired Keep locators.

2752: Add KeepLocator class to Python SDK.

I hope this can be one place to parse and manipulate locator strings.

2752: arv-put resumes interrupted downloads from cache.

This commit simply uses all the state-saving work in arv-put's main()
function.

2752: Add ResumeCache.restart().

This will make it easier for the user to bypass the cache.

2752: Refactor progress reporting in arv-put's CollectionWriter.

2752: Separate and test progress reporting functions.

2752: Factor out arv-put byte tally, and test.

2752: Add ResumableCollectionWriter serialization to arv-put.

2752: Add ResumeCache to arv-put.

This class encapsulates all the functionality necessary to
de/serialize ResumableWriter state.

2752: Generate cache filenames from arv-put arguments.

2756: added a link to job when a job is chosen

2756: log write

2756: fix issue from merge conflict

Merge branch 'master' into 2756-eventbus-in-workbench

Conflicts:
apps/workbench/app/assets/javascripts/pipeline_instances.js

2829: add X-Block-Size response header

Responses to successful GET or HEAD requests include an X-Block-Size
header.

Merge branch 'master' into 2767-doc-updates

2755: incorporate code review.

* Unit tests cover all permutations of signature/authorization when
  --enforce-permissions=false

* Keep is more forgiving about the structure of locators, permits
  locator hints of unknown type (as long as they begin with an uppercase
  letter)

* Keep delivers 400 Bad Request for requests that do not match any
  route, or are lexically invalid. 404 Not Found only for requests with
  a syntactically valid hash not found on disk.

Refs #2755.

2760: Merge branch 'master' into 2760-folder-hierarchy

2760: Disambiguate "hover" from "selected" style. Do not highlight
non-selectable rows on hover.

2755: add support for signed locators in the Python SDK.

* arvados.Keep.put() saves the response body (which may contain a
  signed locator) and returns it to the caller.

* arvados.Keep.get() passes the full signed locator to the remote Keep
  server. The bare MD5 hash is still used for caching and for
  shuffled_service_roots

* run_test_server.run_keep() takes arguments 'blob_signing_key' and
  'enforce_permissions', for testing permission signatures in unit
  tests.

* test_keep_client: new unit tests for permissions:
    - with --enforce-permissions=true:
        - GET with a signed locator works
        - GET with an unsigned locator fails
        - unauthenticated GET fails
    - with --enforce-permissions=false:
        - GET with a signed locator works
- GET with an unsigned locator works
- unauthenticated GET works

Bug fixes to permission handling in the Keep server:

* Locator hints may appear in any order; be flexible. Parse them in
  GetBlockHandler rather than in the REST router.

* Returned locators are terminated with newline (consistent with
  Warehouse, and more friendly for human debugging).

* The locator returned from a PUT request always has a size hint.

* The correct Authorization header keyword is "OAuth2", not
  "OAuth". D'oh.

* Updated unit tests to accommodate newlines, size hints and OAuth2.

Refs #2755.

2760: Merge branch 'master' into 2760-folder-hierarchy

Merge branch 'master' into 2044-share-button refs #2044

2760: Use "My Folders" to indicate the root of my folder hierarchy.

2752: Add basic test for arv-put.

2752: Extract common Python test methods.

I'm going to reuse these to test arv-put.

2752: Move arv-put functionality to arvados.commands.put.

This will make it easier to unit test arv-put, and make it easier for
developers to extend or customize its functionality.