2872: fix test

2872: Merge branch 'master' into 2872-folder-nav

Conflicts:
apps/workbench/app/controllers/application_controller.rb
apps/workbench/app/helpers/application_helper.rb
apps/workbench/app/models/authorized_key.rb
apps/workbench/app/models/job.rb
apps/workbench/app/models/pipeline_instance.rb
apps/workbench/app/models/user.rb
apps/workbench/app/models/virtual_machine.rb

2872: Make Show button say Show again. Fix links on collections index.

2865: add traffic_test.py for testing Keep performance.

Refs #2865.

Merge branch 'master' into 2919-provenance-graph-cutoff

2933: Add Keep signing key configuration to Docker.

This is a little hypothetical until we Dockerize the new Keep server,
but it's necessary to get the API server running.

Refs #2933.

2933: Update Docker to use new Python package build process.

Refs #2933.

Merge branch 'master' into 2895-no-more-redis

2865: reduce Keep memory usage.

Eliminate ioutil.ReadAll to reduce unnecessary 2x memory allocations.

* PutBlockHandler allocates a buffer exactly as long as
  req.ContentLength and fills it with io.ReadFull.

* GetBlock uses ioutil.ReadFile (which it arguably should have been
  doing in the first place).

Refs #2865.

2872: Fix breadcrumbs on pipeline instance compare page.

2872: Fix links to collections from folder view.

2953: crunch-job strips permission hints from output manifests.

The API server also strips permission hints from submitted
collections, and will reject it if the specified UUID doesn't match
that result.  As a consequence, this is necessary for crunch-job to
register output with the API server.

Closes #2953.

2872: Do not try to add name links for objects that have their own names

2872: Fix syntax

2895: remove arvados.jobs.log_stream from arv

Merge branch 'master' into 2895-no-more-redis

2872: Fix up log message display on pipeline instance page.

2872: Check "optional" flag too when looking for required inputs.

2872: Fix empty name placeholders.

2872: Fix crash on missing object.

2872: Fix total_bytes returning nil.

Fix workbench URL in inactive user notification e-mail.

refs #2681

2872: Treat HEAD same as GET in case we are behind a proxy.

Merge branch '2951-more-robust-fuse-test-teardown'

refs #2951

Retry the fusermount call up to 10 times with a small pause between
calls if it is not successful. This should make the teardown of the fuse
mount more reliable in automated testing.

refs #2951

2872: Filter by tail instead of owner in case api server rule is not in yet.

2872: Ensure friendly_name is always a string.

2872: Add selection checkboxes to folder view. Compare pipeline instances and remove multiple items.

2872: Make infinite scroll work with regular window scrollbars too.

2872: Add "clone and edit" button to pipeline instance page.

2872: Add free text search in chooser.

2872: Fix attribute_editable? to play nicer with group ownership. refs #2872

2893: API server accepts all serialized parameters as JSON.

This commit takes the bugfix that was applied in 135f306e, and ensures
it's applied to all serialized attributes.

2872: Change default order of folder contents. refs #2872

2872: Ensure name link tail_uuid == owner_uuid. refs #2872

Merge branch '2681-new-inactive-user-notification'

refs #2681

Merge branch 'master' into 2681-new-inactive-user-notification

Merge branch 'master' into 2919-provenance-graph-cutoff

2903: rename db migrate script with clear description

Merge branch 'master' into 2903-remove-pi-active-and-success

Conflicts:
services/api/db/schema.rb

Merge branch 'master' into 2681-new-inactive-user-notification

DTRT with system_user in our user test case. Partial revocation of
commit:e9fc734b

Merge branch 'master' into 2919-provenance-graph-cutoff

2919: set the left postitioning for the provenance graph calculated based on the left-nav size

2872: Fix up tests

2872: Add job summary partial.

2872: Fix bugs

2872: Fix some tests and bugs

2752: Show arv-put output on stdin test failure.

2755: Adjust arv-put test invocation.

This method works better with the new test layout.

2919: Reinstated absolute positioning, changed font size so that text is no
longer overflowing the graph boxes and ovals.

2752: arv-put works when it can't write a cache file.

2752: Rename test_arv_put.py.

This allows us to run specific test cases from the command-line.  The
hyphen in the filename prevented that before.

2752/2755: Move test_cmdline code to test_arv-put.

Tim and I wrote tests for arv-put simultaneously.  This commit merges
them together.

2872: Add recent jobs and pipelines to folder index, use as root url.

2872: Show collection details in chooser.

2872: Fix css on collection tab line buttons.

2872: Add useful pipeline instance content summary.

2872: Disable chooser OK button until selection is made, update run-pipeline wording.

2872: Add infinite scroll to chooser modal.

2872: Rearrange folder index. Show collection tags and files in folder view.

2872: Add "delete folder" button.

2872: Fix "remove from folder"

2872: Make editable work for names in folder, choose data from current folder, tweak css.

2872: Rearrange standard views to deemphasize "advanced" usage, add infinite scroll

2872: Use data chooser for running pipelines. Many presentation fixes.

2872: Start doing everything from folder perspective.

2872: Remove name column from collections table.

2903: merge master

Merge branch 'master' into 2903-remove-pi-active-and-success

Merge branch 'master' into 2895-no-more-redis

2895: remove redis gem

2893: Fix accepting JSON-encoded components_summary in API calls. refs #2893

Merge branch 'master' into 2895-no-more-redis

2895: remove jobs.log_tail_follow api since we are now using websockets instead of redis

Merge branch 'master' into 2681-new-inactive-user-notification

Refactor user notification tests

Merge branch '2755-python-sdk-permissions'

Closes #2755.

Merge branch 'master' into 2755-python-sdk-permissions

Conflicts:
sdk/python/bin/arv-put

2895: remove users.event_stream api

2752: Include arvados.commands submodule in built packages.

2893: Merge branch '2893-no-symbols-in-db' closes #2893

2893: Merge branch 'master' into 2893-no-symbols-in-db

Conflicts:
services/api/test/fixtures/links.yml

Merge remote-tracking branch 'refs/remotes/origin/2755-python-sdk-permissions-TC' into 2755-python-sdk-permissions

Refs #2755.

2755: add unit test for Collection.normalize_uuid.

Merge branch 'master' into 2919-provenance-graph-cutoff

2919: update integration test to assert provenace graph div

2893: Add test cases. Stringify all serialized attrs coming from DB,
not just Hash. Rename has_any_symbols? to has_symbols?.

2755: Let the API server decide the correct collection UUID format.

2931: Remove {dependent: :destroy} in ArvadosModel. HasUuid does that now. closes #2931

Merge branch '2752-arv-put-resume'

Closes #2752, #2864.

2752: arv-put doesn't update the resume cache when aborted.

It's appealing to try to save the latest state when we have the
opportunity, but the problem is that we can't be sure that our
CollectionWriter is in a consistent state when we get a signal or
exception.  The previous code could potentially write inconsistent
state, which would appear to resume successfully but PUT different
data.  Instead rely exclusively on cache updates that are done from a
known consistent state.

2752: arv-put explains resumed uploads in more detail.

Wording suggested by Peter in refs #2752.

2752: arv-put writes newline after 100% human progress report.

2752: arv-put always displays 100% progress at the end.

It's okay to call writer.finish_current_stream() this way, because
every branch at the end ultimately calls it.

2752: Avoid ResumeCache name collisions from concatenating paths.

2752: arv-put checkpoints after a PUT to Keep.

This allows us to recover after a pulled-the-plug kind of failure, but
is still noticeably less overhead than checkpointing after each file.

2752: arv-put handles exit signals.

2752: Resumed collection writer doesn't do_queued_work immediately.

As noted in the comments, callers that build a writer from resumed
state must do_queued_work on it before anything else.  But this split
makes it easier to treat initialization problems and work problems
separately, which is critical.

This required refactor progress reporting a bit.

2752: Remove unused CollectionWriter checkpoint hook.