Merge branch 'master' into 2681-new-inactive-user-notification

Refactor user notification tests

Merge branch '2755-python-sdk-permissions'

Closes #2755.

Merge branch 'master' into 2755-python-sdk-permissions

Conflicts:
sdk/python/bin/arv-put

2752: Include arvados.commands submodule in built packages.

2893: Merge branch '2893-no-symbols-in-db' closes #2893

2893: Merge branch 'master' into 2893-no-symbols-in-db

Conflicts:
services/api/test/fixtures/links.yml

Merge remote-tracking branch 'refs/remotes/origin/2755-python-sdk-permissions-TC' into 2755-python-sdk-permissions

Refs #2755.

2755: add unit test for Collection.normalize_uuid.

2893: Add test cases. Stringify all serialized attrs coming from DB,
not just Hash. Rename has_any_symbols? to has_symbols?.

2755: Let the API server decide the correct collection UUID format.

2931: Remove {dependent: :destroy} in ArvadosModel. HasUuid does that now. closes #2931

Merge branch '2752-arv-put-resume'

Closes #2752, #2864.

2752: arv-put doesn't update the resume cache when aborted.

It's appealing to try to save the latest state when we have the
opportunity, but the problem is that we can't be sure that our
CollectionWriter is in a consistent state when we get a signal or
exception.  The previous code could potentially write inconsistent
state, which would appear to resume successfully but PUT different
data.  Instead rely exclusively on cache updates that are done from a
known consistent state.

2752: arv-put explains resumed uploads in more detail.

Wording suggested by Peter in refs #2752.

2752: arv-put writes newline after 100% human progress report.

2752: arv-put always displays 100% progress at the end.

It's okay to call writer.finish_current_stream() this way, because
every branch at the end ultimately calls it.

2752: Avoid ResumeCache name collisions from concatenating paths.

2752: arv-put checkpoints after a PUT to Keep.

This allows us to recover after a pulled-the-plug kind of failure, but
is still noticeably less overhead than checkpointing after each file.

2752: arv-put handles exit signals.

2752: Resumed collection writer doesn't do_queued_work immediately.

As noted in the comments, callers that build a writer from resumed
state must do_queued_work on it before anything else.  But this split
makes it easier to treat initialization problems and work problems
separately, which is critical.

This required refactor progress reporting a bit.

2752: Remove unused CollectionWriter checkpoint hook.

2752: arv-put only caches state on failure.

This is slightly less robust, but writing the cache after every data
flush is too expensive.

2752: Don't duplicate arv-put work after resume.

This change serializes the command-line arguments that we've actually
processed, vs. not.  That allows us to safely iterate over them again
to upload any files that we hadn't started, while skipping the ones
we've already done.

2752: arv-put displays progress quickly after resuming.

Refs #2752.

2752: arv-put displays a notice when it resumes.

Based on a suggestion from Peter in refs #2752.

2752: arv-put ResumeCache constructor only accepts path argument.

Refs #2752.  Using exceptions to accept parsed arguments in the
constructor as well was too clever by half.

2752: Fix arv-put's write percentage output.

2752: Quiet arv-put stdin integration test.

2752: Avoid hiccup on arv-put with short stdin.

Trying to call os.stat(os.path.realpath('/dev/stdin')) usually fails
in this case.  Since we're never going to be able to resume from stdin
anyway, don't bother with that check in this case.

2752: Improve arv-put initialization from cache.

This puts ArvPutCollectionWriter's own instance variables, like the
progress reporter function, in place before work is resumed.

2752: arv-put saves and restores write progress information.

This will make output less confusing to the user, and help them
understand that an upload is resuming.

2752: arv-put shouldn't resume from expired Keep locators.

2752: Add KeepLocator class to Python SDK.

I hope this can be one place to parse and manipulate locator strings.

2752: arv-put resumes interrupted downloads from cache.

This commit simply uses all the state-saving work in arv-put's main()
function.

2752: Add ResumeCache.restart().

This will make it easier for the user to bypass the cache.

2752: Refactor progress reporting in arv-put's CollectionWriter.

2752: Separate and test progress reporting functions.

2752: Factor out arv-put byte tally, and test.

2752: Add ResumableCollectionWriter serialization to arv-put.

2752: Add ResumeCache to arv-put.

This class encapsulates all the functionality necessary to
de/serialize ResumableWriter state.

2752: Generate cache filenames from arv-put arguments.

2752: Add basic test for arv-put.

2752: Extract common Python test methods.

I'm going to reuse these to test arv-put.

2752: Move arv-put functionality to arvados.commands.put.

This will make it easier to unit test arv-put, and make it easier for
developers to extend or customize its functionality.

2752: Move Python tests to dedicated subdirectory.

This better follows Python convention, and will let us build out our
test frameworks without cluttering the root source directories.

This change brings a small change to the way we run tests.  Pass the
directory name to the discover command:

    $ python -m unittest discover tests

2752: Add arvados.collections.ResumableCollectionWriter.

This is a subclass of CollectionWriter that only accepts data from the
filesystem.  In exchange, it can record its own state, and resume
writing from one of those states.  arv-put will use this to make the
user experience nicer if a long upload is interrupted.

2752: Implement CollectionWriter with a work queue.

This will make it easier to capture and restore state.

2752: Reuse CollectionWriter.write_file() where possible.

2752: Add method CollectionWriter.write_file().

2752: Remove trailing whitespace in arv-put.

2752: Add tests for CollectionWriter.write_directory_tree().

2752: Clean up after Python SDK Collections tests.

2752: Refactor Python SDK test_collections.

This eliminates duplication in setup and teardown code, and clarifies
dependencies between tests a bit.

2752: Clean up arv-put imports.

2755: comment doc fix.

2755: code review.

* arv-put returns an unsigned manifest UUID.

* The ArvPutSignedManifest test first confirms that the collection is
  not present in the API server.  Also asserts that the arv-put command
  completed successfully.

* Additional tests for KeepPermissionTestCase for each potential
  combination of wrong authorization and signature.

2762: Do not try to auto-destroy referring links when destroying a model with no uuid. refs #2762

Switch to using auth helpers instead of messing with Thread.current in the user tests.

2754: Change "create pipeline" label to "run", to match others in same workflow.

Another fix to sharing scope to use keep_services/accessible. refs #2766

Provide link to users page in notification e-mails.

Added proper sharing scope to permit actually downloading shared files. refs #2766

2755: code review.

* CollectionWriter does not cache manifest_text, and recomputes it each
  time it is asked.

* Manifest uuid is computed from a manifest that has been stripped of
  permission hints, but not any other kind of locator hint.

Change default for

  new_user_notification_recipients
  new_inactive_user_notification_recipients

in config/application.default.yml to an empty array, so that it is
obvious how to specify multiple recipients.

2753: Fix Collection inline file view.

The height limit needs to be applied to the images themselves, rather
than the containing div.

Added rescue AccessForbiddenException to collections controller and view to
disable the "sharing link" feature when the client is untrusted. refs #2766

Merge branch '2044-share-button' refs #2766

Go Keep client correctly closes response body on client requests, should fix
lingering connections problem.  Also added graceful shutdown on SIGINT to
keepproxy. refs #1885

Merge branch 'master' into 2681-new-inactive-user-notification

2755: add support to arv-put for signed manifests.

When arv-put finishes a stream, the manifest it stores in Keep now has
been stripped of signatures and other variable hints.

test_cmdline.py tests arv-put's handling of the manifest to make sure
that, when permissions are enabled, the manifest in Keep lacks
signatures, and the same manifest returned from the API server includes
signatures.

Refs #2755.

Merge branch 'master' of git.curoverse.com:arvados

An equivalent of this script is now at services/api/script. This was done as part of Feature #2272.

2754: Merge branch '2754-pipeline-template-description' refs #2754

2893: Add more tests for bogus serialized hash values.

2893: Add test for un-symbolizing existing db content.

2893: Prevent symbol keys/values in serialized attributes.

2754: Add migration missing from commit:fe84c84827af6092784408629e4cde0663fe6af8

2044: Fixed CollectionsController#search_scopes to use 'filter' correctly
instead of using 'where' incorrectly.  Reverted most changes to
ArvadosModel#ensure_owner_uuid_is_permitted.  Added rescue to
collections/show.html.erb when log.event_at is nil.

Do not use symbol keys in the properties of permission links.

Merge branch 'master' into 2044-share-button

2892: Fix user agreement routing. closes #2892

2862: Use ?format=js so browser does not think js and html views are
interchangeable. closes #2862

2760: Merge branch '2760-not-all-objects-in-folders' refs #2760

Merge branch 'master' of git.curoverse.com:arvados

Adjusted timeout on websocket_test from 3 seconds to 4 in an attempt to reduce
the number of spurious timeouts on jenkins.

Merge branch 'master' of git.curoverse.com:arvados

Merge branch 'master' of git.curoverse.com:arvados #2751

Merge branch '2756-eventbus-in-workbench' into 2678-owned_by

Conflicts:
services/api/script/crunch-dispatch.rb

2756: fix error where partial lines were potentially logged

Merge branch 'master' of git.curoverse.com:arvados refs #2751

Merge branch '2751-python-sdk-keep-proxy-support' closes #2751

Merge branch 'master' into 2756-eventbus-in-workbench

2756: log span title

2756: fix typo in helper method signature

2756: update the ui to show job progress, and links in one column

2525: add some javadoc comments

2678: upon Tom's feedback, setting owner_uuid of the pi whether or not the pi belongs to a group.

2754: Add pipeline template description attribute.

Merge branch 'master' into 2525-java-sdk