Merge remote-tracking branch 'origin/master' into 2882-job-process-stats

2882: Improved re-run job buttons on job status page

Merge branch 'master' into 2882-job-process-stats refs #2882

Merge branch 'origin-2939-re-run-job-button' into 2882-job-process-stats

2882: arv-mount restores signal handlers after sp.wait().  Fixed spelling ellapsed -> elapsed.

2933: Add Keep signing key configuration to Docker.

This is a little hypothetical until we Dockerize the new Keep server,
but it's necessary to get the API server running.

Refs #2933.

2933: Update Docker to use new Python package build process.

Refs #2933.

Merge branch 'master' into 2895-no-more-redis

2865: reduce Keep memory usage.

Eliminate ioutil.ReadAll to reduce unnecessary 2x memory allocations.

* PutBlockHandler allocates a buffer exactly as long as
  req.ContentLength and fills it with io.ReadFull.

* GetBlock uses ioutil.ReadFile (which it arguably should have been
  doing in the first place).

Refs #2865.

2882: Explicit polling frequency

2953: crunch-job strips permission hints from output manifests.

The API server also strips permission hints from submitted
collections, and will reject it if the specified UUID doesn't match
that result.  As a consequence, this is necessary for crunch-job to
register output with the API server.

Closes #2953.

Merge remote-tracking branch 'origin/master' into origin-2939-re-run-job-button refs #2939

Conflicts:
services/api/db/schema.rb

2882: Added crunchstat service to collect cgroup stats, and added support to
crunch-job.

2895: remove arvados.jobs.log_stream from arv

Merge branch 'master' into 2895-no-more-redis

Fix workbench URL in inactive user notification e-mail.

refs #2681

Merge branch '2951-more-robust-fuse-test-teardown'

refs #2951

Retry the fusermount call up to 10 times with a small pause between
calls if it is not successful. This should make the teardown of the fuse
mount more reliable in automated testing.

refs #2951

2872: Fix attribute_editable? to play nicer with group ownership. refs #2872

2893: API server accepts all serialized parameters as JSON.

This commit takes the bugfix that was applied in 135f306e, and ensures
it's applied to all serialized attributes.

2882: crunch-dispatch now sends a clean environment to crunch-job.

2872: Change default order of folder contents. refs #2872

2872: Ensure name link tail_uuid == owner_uuid. refs #2872

Merge branch '2681-new-inactive-user-notification'

refs #2681

Merge branch 'master' into 2681-new-inactive-user-notification

2882: Added button to cancel a running job.

2882: arv-mount --exec forwards SIGINT and SIGTERM to the underlying subprocess.

2903: rename db migrate script with clear description

Merge branch 'master' into 2903-remove-pi-active-and-success

Conflicts:
services/api/db/schema.rb

Merge branch 'master' into 2882-job-process-stats refs #2882

Merge branch 'master' into 2681-new-inactive-user-notification

DTRT with system_user in our user test case. Partial revocation of
commit:e9fc734b

2752: Show arv-put output on stdin test failure.

2755: Adjust arv-put test invocation.

This method works better with the new test layout.

2752: arv-put works when it can't write a cache file.

2752: Rename test_arv_put.py.

This allows us to run specific test cases from the command-line.  The
hyphen in the filename prevented that before.

2752/2755: Move test_cmdline code to test_arv-put.

Tim and I wrote tests for arv-put simultaneously.  This commit merges
them together.

2939: Use JSON.dump instead of Oj.dump, solves the symbol keys problem.

Merge remote-tracking branch 'origin/master' into origin-2939-re-run-job-button refs #2939

Conflicts:
services/api/db/schema.rb

2939: Added repository to re-run with latest button label

2872: Remove name column from collections table.

2939: Added generic "options" parameter to #create to allow workbench pages to
specify additional parameters to be passed through to the API server.

Merge remote-tracking branch 'refs/remotes/origin/2939-create-params' into origin-2939-re-run-job-button

2939: added no_reuse, nondeterministic

2903: merge master

Merge branch 'master' into 2903-remove-pi-active-and-success

Merge branch 'master' into 2895-no-more-redis

2939: Allow caller to pass additional parameters to create API.

2895: remove redis gem

2893: Fix accepting JSON-encoded components_summary in API calls. refs #2893

2939: Added a status page for jobs that is similar to the pipeline instance
status page.  Adds two "Re-run job" buttons that allow you to re-run either the
exact version or the version that was originally supplied (usually a branch
name).  Adds a "supplied_script_version" column to jobs to remember the
original script_version contents.

Merge branch 'master' into 2895-no-more-redis

2895: remove jobs.log_tail_follow api since we are now using websockets instead of redis

Merge branch 'master' into 2681-new-inactive-user-notification

Refactor user notification tests

Merge branch '2755-python-sdk-permissions'

Closes #2755.

Merge branch 'master' into 2755-python-sdk-permissions

Conflicts:
sdk/python/bin/arv-put

2895: remove users.event_stream api

2752: Include arvados.commands submodule in built packages.

2893: Merge branch '2893-no-symbols-in-db' closes #2893

2893: Merge branch 'master' into 2893-no-symbols-in-db

Conflicts:
services/api/test/fixtures/links.yml

Merge remote-tracking branch 'refs/remotes/origin/2755-python-sdk-permissions-TC' into 2755-python-sdk-permissions

Refs #2755.

2755: add unit test for Collection.normalize_uuid.

Pass PATH, PYTHONPATH and PERLLIB environment from crunch-dispatcher to
crunch-job, this makes setting up a working crunch-dispatch much easier.

2893: Add test cases. Stringify all serialized attrs coming from DB,
not just Hash. Rename has_any_symbols? to has_symbols?.

2755: Let the API server decide the correct collection UUID format.

2931: Remove {dependent: :destroy} in ArvadosModel. HasUuid does that now. closes #2931

Merge branch '2752-arv-put-resume'

Closes #2752, #2864.

2752: arv-put doesn't update the resume cache when aborted.

It's appealing to try to save the latest state when we have the
opportunity, but the problem is that we can't be sure that our
CollectionWriter is in a consistent state when we get a signal or
exception.  The previous code could potentially write inconsistent
state, which would appear to resume successfully but PUT different
data.  Instead rely exclusively on cache updates that are done from a
known consistent state.

2752: arv-put explains resumed uploads in more detail.

Wording suggested by Peter in refs #2752.

2752: arv-put writes newline after 100% human progress report.

2752: arv-put always displays 100% progress at the end.

It's okay to call writer.finish_current_stream() this way, because
every branch at the end ultimately calls it.

2752: Avoid ResumeCache name collisions from concatenating paths.

2752: arv-put checkpoints after a PUT to Keep.

This allows us to recover after a pulled-the-plug kind of failure, but
is still noticeably less overhead than checkpointing after each file.

2752: arv-put handles exit signals.

2752: Resumed collection writer doesn't do_queued_work immediately.

As noted in the comments, callers that build a writer from resumed
state must do_queued_work on it before anything else.  But this split
makes it easier to treat initialization problems and work problems
separately, which is critical.

This required refactor progress reporting a bit.

2752: Remove unused CollectionWriter checkpoint hook.

2752: arv-put only caches state on failure.

This is slightly less robust, but writing the cache after every data
flush is too expensive.

2752: Don't duplicate arv-put work after resume.

This change serializes the command-line arguments that we've actually
processed, vs. not.  That allows us to safely iterate over them again
to upload any files that we hadn't started, while skipping the ones
we've already done.

2752: arv-put displays progress quickly after resuming.

Refs #2752.

2752: arv-put displays a notice when it resumes.

Based on a suggestion from Peter in refs #2752.

2752: arv-put ResumeCache constructor only accepts path argument.

Refs #2752.  Using exceptions to accept parsed arguments in the
constructor as well was too clever by half.

2752: Fix arv-put's write percentage output.

2752: Quiet arv-put stdin integration test.

2752: Avoid hiccup on arv-put with short stdin.

Trying to call os.stat(os.path.realpath('/dev/stdin')) usually fails
in this case.  Since we're never going to be able to resume from stdin
anyway, don't bother with that check in this case.

2752: Improve arv-put initialization from cache.

This puts ArvPutCollectionWriter's own instance variables, like the
progress reporter function, in place before work is resumed.

2752: arv-put saves and restores write progress information.

This will make output less confusing to the user, and help them
understand that an upload is resuming.

2752: arv-put shouldn't resume from expired Keep locators.

2752: Add KeepLocator class to Python SDK.

I hope this can be one place to parse and manipulate locator strings.

2752: arv-put resumes interrupted downloads from cache.

This commit simply uses all the state-saving work in arv-put's main()
function.

2752: Add ResumeCache.restart().

This will make it easier for the user to bypass the cache.

2752: Refactor progress reporting in arv-put's CollectionWriter.

2752: Separate and test progress reporting functions.

2752: Factor out arv-put byte tally, and test.

2752: Add ResumableCollectionWriter serialization to arv-put.

2752: Add ResumeCache to arv-put.

This class encapsulates all the functionality necessary to
de/serialize ResumableWriter state.

2752: Generate cache filenames from arv-put arguments.

2752: Add basic test for arv-put.

2752: Extract common Python test methods.

I'm going to reuse these to test arv-put.

2752: Move arv-put functionality to arvados.commands.put.

This will make it easier to unit test arv-put, and make it easier for
developers to extend or customize its functionality.