2756: display log file for a finished job.

Merge branch 'master' into 2756-eventbus-in-workbench

Conflicts:
apps/workbench/app/views/layouts/application.html.erb

2756: display log history for a running pipeline.

Changed API server to use X-External-Client instead of
X-Keep-Proxy-Required. refs #2776

Merge branch 'master' of git.curoverse.com:arvados

Refs #2755.

2755: fix blob signing bug. (refs #2755)

Merge branch '2755-api-collection-permissions'

closes #2784, closes #2787

2755: incorporate code review

* lib/locator.rb renamed => app/models/locator.rb
* Relaxed Locator.parse! handling of hint content.
* Locator.parse() rescues only from ArgumentError.
* Removed blob_signing_ttl from application.yml.example.
* Collections.show only matches locators that are preceded by a space,
  when parsing manifest_text.

2755: fix merge conflicts (refs #2755)

Merge branch '2755-api-collection-permissions' of git.curoverse.com:arvados into 2755-api-collection-permissions

Refs #2755

Conflicts:
services/api/app/controllers/arvados/v1/collections_controller.rb
services/api/config/application.default.yml
services/api/config/application.yml.example
services/api/test/functional/arvados/v1/collections_controller_test.rb

Merge branch '2764-wget-collections'

Closes #2764, #2774, #2830.

2764: UI overhaul to the Collection download page.

Refs #2764, based on feedback.

2764: Fixed active_all_collections scoped token to be able to access
keep_disks.  Also some minor code cleanup in FileStreamer.

2764: Fixed scopes_allow_request to use request.request_method (the effective
HTTP method) instead of request.method (the actual HTTP method) because
workbench uses POST even for GET.

2764: Add wget-friendly Collections file page.

This new route will become the way you share authless Collection links
with others.  They can pass it to `wget -r` to download the whole
collection, nicely organized, with nothing extraneous.  Since it
doesn't try to load user information or look up related Arvados items,
it can be rendered using an API token with a very narrow scope.

Because wget respects robots.txt, this branch stops using that in
favor of the corresponding <meta> tag.  The new view only limits
indexing, so wget can follow the links on the page.

Refs #2764.

2764: Introduce show_file_links route.

Right now this just takes advantage of the provided reader token, but
we're going to extend it to provide a wget-friendly view.

2765: Tear out general Workbench reader_tokens support.

Refs #2765.  This approach is not tenable in its current form, and the
callbacks are making further development confusing, so I'm getting rid
of them.

Conflicts:
apps/workbench/test/functional/collections_controller_test.rb

2764: Reset browser session between Workbench integration tests.

Peter and I just debugged an issue where a test was falsely passing
because the session had authorization state in it.  This prevents it
from passing.

2753: Properly close entire Collection file tree in Workbench.

1904: Make Keep file EPERM test stricter.

Refs #1904.  Tom said that we want the security benefits of a 404
result, so make sure that's exactly what we get.

Merge branch '2776-keep-services-table' closes #2776

2756: show log for this pipelines jobs.

Merge branch 'master' into 2776-keep-services-table

2776: Fixed misspelled accessable->accessible.  Thanks Brett!  Tweaked
workbench icons for keep services and compute nodes.  Removed spurious print
statements.  Tighted up definitions of service_host, service_port and
service_ssl_flag in keep_disk model.

Merge branch 'master' into 2756-eventbus-in-workbench

Remove obsolete secret_token.rb.

2756: listen for event logs on job uuids.

Merge branch '2770-keep-sigterm' (closes #2770)

Merge branch 'master' into 2756-eventbus-in-workbench

2756: trigger event for any elements that contain this log event's object_uuid in it's data-object-uuids.

Merge branch '2753-collection-tree-view'

Closes #2777, #2828, #2753.

2753: Add space between Workspace file tree buttons and scrollbar.

2753: Move file tree CSS to collections.css.

2753: Refactor Collection view to use library CSS.

2753: Replace Workbench file tree backgrounds with hover effect.

Based on feedback from Tom in refs #2753.  I'm still concerned about
users being able to line up buttons with filenames, so the highlight
on :hover is intended to help with that.

2753: Workbench shows Collection files in a tree.

2753: Workbench renders "0 bytes" for empty file sizes.

2753: Add Workbench Collection#files_tree.

2753: Add tests for CollectionsHelper.file_path.

2753: Make Collection filenames with existing helper.

This is pure refactoring to make the code more consistent.

Add some basic request logging to Keep.

Merge branch 'master' into 2756-eventbus-in-workbench

2756: write log info from redis into log table. this will help us read this log info via the event log websockets.

Merge branch '2753-collection-metadata'

Closes #2780, #2837.

2753: Show immediate relations on Workbench Collection page.

This concept and implementation borrows a lot from the new folder UI.

2753: Move Workbench object list rendering to application_helper.

I would like to be able to reuse this functionality in the upcoming
Collections view.

2753: Add event_at data to Log fixtures.

2753: Remove older, unused Workbench provenance code.

I do not see any code that would directly render these partials;
they're not indirectly referenced in the pane list; and I can remove
the controller code and run all our tests without tripping on a
NoMethodError exception from a nil.

2776: Added test for keep_services/accessable route.

2776: Added 'accessable' route to 'keep_services'

2776: Added stub API documentation for keep_services table.

2776: Fixed run_test_server.py to work with new 'keep_services' model

2776: Fixed backwards-compatible inclusion of service_host/port/ssl_flag for keep_disks.

2776: Added Keep services page to workbench (uses default layouts)

2776: Added controller and route for keep_services, fixed tests.

2776: Added keep_services model and migration.

2755: Verify permission signatures on create.

Phase 1 of #2755: when creating a new collection, verify any permission
signatures found in the manifest.  Unsigned locators in the manifest are
implicitly permitted (to be disabled in Phase 4)

* New "Locator" class to parse, examine and manipulate Keep locators.
* Collections.create checks permission signatures in a manifest.
* Collections.show signs locators in a manifest.
* collections_controller_test.rb: new unit tests to exercise signed
  manifests and related features:
    - "create collection with signed manifest"
    - "create collection with signed manifest and explicit TTL"
    - "create fails with invalid signature"
    - "create fails with uuid of signed manifest"
    - "multiple locators per line"
    - "multiple signed locators per line"
* application.yml.example: new configuration variables
    - Rails.configuration.blob_signing_key
    - Rails.configuration.blob_signing_ttl

(refs #2755)

2776: Started adding KeepServices model.

Merge branch 'master' into 2756-eventbus-in-workbench

Fix crash when saving api_client_authorization during migration.

2352: Reset column information between adding a new serialized
attribute and using the model. Otherwise, Rails (4) fails to validate
the serialized attribute.

Prevent admin from creating an object with empty string as UUID.

Merge branch 'master' into 2756-eventbus-in-workbench

2756: use meta tag to provide websocket url to event_log js file

2770: terminate on SIGTERM.

When SIGTERM is received, the Keep server shuts down gracefully. (refs #2770)

2809: Fix arvados_api_client usage in FileStreamer. refs #2809

2756: much cleaner and leaner

2756: event log div placement corrected.

Remove debug log message. refs #1969

2756: ws url storage does not have to be managed by each page subscribing for events. also, html class names to include arv in them.

2756: trigger event when object is updated. process the messages on trigger.

Merge branch 'master' into 2756-eventbus-in-workbench

2756: subscribe for event log messages on ajax:complete or ready.

2809: Fix disappearing ArvadosApiClient in development mode. refs #2809

2755: Defer to CollectionReader to get manifests instead of going
directly to Keep (which only works when Keep has no permission
checks).

refs #2755

Merge branch '0000-arv-mount-bugfixes'

This closes #2831

CollectionReader can throw exceptions (for example, when passing an
argument that is not a manifest or collection UUID). Trap those and
print an error message, instead blowing up the fuse driver.

In daemon mode, arv-mount should set up the fuse connection before
forking to the background, so that any failures to set up are reported
to the user.

Merge branch 'master' into 2756-eventbus-in-workbench

2756: store websocket in window to facilitate reuse within page. also, remove elementId from map when leaving page.

2809: Merge branch '2809-workbench-rails4' refs #2809

2809: Merge branch 'master' into 2809-workbench-rails4 refs #2809

Conflicts:
apps/workbench/app/models/arvados_api_client.rb

2809: Move coffee-rails out of :assets section to make tests thread-safe.

Otherwise, when Rails decides to build assets while running the test
suite, we get:

WARN: tilt autoloading 'coffee_script' in a non thread-safe way; explicit require 'coffee_script' suggested.

2809: Remove javascript and coffeescript boilerplate.

2809: Remove some unnecessary sleep(0.1).

2809: Rearrange "run API server during tests" to suit Minitest 5.
Also, use passenger instead of webrick.

2809: Upgrade to Rails 4.1

2809: Add wait_for_ajax after submitting forms, to avoid race condition.

2809: Remove debug printfs, add comment explaining why so much "permit!"

2809: Add note about harmless warning when installing the themes_for_rails gem.

2809: Fix whitespace.

2809: Turn off secret_key_base by default, instead of requiring it in config.

2809: Fix load_config so it loads in time to set passenger configs.

2809: Merge branch 'master' refs #2809

Conflicts:
apps/workbench/Gemfile.lock
apps/workbench/app/controllers/application_controller.rb
apps/workbench/app/models/arvados_api_client.rb
apps/workbench/app/models/group.rb
apps/workbench/app/models/user.rb
apps/workbench/app/views/layouts/application.html.erb

2756: Fix "duplicate tab" behavior in Chrome.

2756: Fix ajax refresh on pipeline instance page.

Merge branch '2762-owner-uuid-integrity'

closes #2762

2762: Merge branch 'master' into 2762-owner-uuid-integrity

2756: improve the data displayed in event log display area.

2755: Verify permission signatures on create.

Phase 1 of #2755: when creating a new collection, verify any permission
signatures found in the manifest.  Unsigned locators in the manifest are
implicitly permitted (to be disabled in Phase 4)

* Collections.create checks permission signatures in a manifest.
* Collections.show signs locators in a manifest.
* Unit test test_create_collection_with_signed_manifest exercises the
  'create' and 'show' methods on a signed manifest.
* application.default.yml, application.yml.example: added configuration
  variable Rails.configuration.permission_key.