Merge branch '2755-api-collection-permissions'

closes #2784, closes #2787

2755: incorporate code review

* lib/locator.rb renamed => app/models/locator.rb
* Relaxed Locator.parse! handling of hint content.
* Locator.parse() rescues only from ArgumentError.
* Removed blob_signing_ttl from application.yml.example.
* Collections.show only matches locators that are preceded by a space,
  when parsing manifest_text.

2755: fix merge conflicts (refs #2755)

Merge branch '2755-api-collection-permissions' of git.curoverse.com:arvados into 2755-api-collection-permissions

Refs #2755

Conflicts:
services/api/app/controllers/arvados/v1/collections_controller.rb
services/api/config/application.default.yml
services/api/config/application.yml.example
services/api/test/functional/arvados/v1/collections_controller_test.rb

Merge branch '2770-keep-sigterm' (closes #2770)

Merge branch '2753-collection-tree-view'

Closes #2777, #2828, #2753.

2753: Add space between Workspace file tree buttons and scrollbar.

2753: Move file tree CSS to collections.css.

2753: Refactor Collection view to use library CSS.

2753: Replace Workbench file tree backgrounds with hover effect.

Based on feedback from Tom in refs #2753.  I'm still concerned about
users being able to line up buttons with filenames, so the highlight
on :hover is intended to help with that.

2753: Workbench shows Collection files in a tree.

2753: Workbench renders "0 bytes" for empty file sizes.

2753: Add Workbench Collection#files_tree.

2753: Add tests for CollectionsHelper.file_path.

2753: Make Collection filenames with existing helper.

This is pure refactoring to make the code more consistent.

Add some basic request logging to Keep.

Merge branch '2753-collection-metadata'

Closes #2780, #2837.

2753: Show immediate relations on Workbench Collection page.

This concept and implementation borrows a lot from the new folder UI.

2753: Move Workbench object list rendering to application_helper.

I would like to be able to reuse this functionality in the upcoming
Collections view.

2753: Add event_at data to Log fixtures.

2753: Remove older, unused Workbench provenance code.

I do not see any code that would directly render these partials;
they're not indirectly referenced in the pane list; and I can remove
the controller code and run all our tests without tripping on a
NoMethodError exception from a nil.

2755: Verify permission signatures on create.

Phase 1 of #2755: when creating a new collection, verify any permission
signatures found in the manifest.  Unsigned locators in the manifest are
implicitly permitted (to be disabled in Phase 4)

* New "Locator" class to parse, examine and manipulate Keep locators.
* Collections.create checks permission signatures in a manifest.
* Collections.show signs locators in a manifest.
* collections_controller_test.rb: new unit tests to exercise signed
  manifests and related features:
    - "create collection with signed manifest"
    - "create collection with signed manifest and explicit TTL"
    - "create fails with invalid signature"
    - "create fails with uuid of signed manifest"
    - "multiple locators per line"
    - "multiple signed locators per line"
* application.yml.example: new configuration variables
    - Rails.configuration.blob_signing_key
    - Rails.configuration.blob_signing_ttl

(refs #2755)

Fix crash when saving api_client_authorization during migration.

2352: Reset column information between adding a new serialized
attribute and using the model. Otherwise, Rails (4) fails to validate
the serialized attribute.

Prevent admin from creating an object with empty string as UUID.

2770: terminate on SIGTERM.

When SIGTERM is received, the Keep server shuts down gracefully. (refs #2770)

2809: Fix arvados_api_client usage in FileStreamer. refs #2809

Remove debug log message. refs #1969

2809: Fix disappearing ArvadosApiClient in development mode. refs #2809

2755: Defer to CollectionReader to get manifests instead of going
directly to Keep (which only works when Keep has no permission
checks).

refs #2755

Merge branch '0000-arv-mount-bugfixes'

This closes #2831

CollectionReader can throw exceptions (for example, when passing an
argument that is not a manifest or collection UUID). Trap those and
print an error message, instead blowing up the fuse driver.

In daemon mode, arv-mount should set up the fuse connection before
forking to the background, so that any failures to set up are reported
to the user.

2809: Merge branch '2809-workbench-rails4' refs #2809

2809: Merge branch 'master' into 2809-workbench-rails4 refs #2809

Conflicts:
apps/workbench/app/models/arvados_api_client.rb

2809: Move coffee-rails out of :assets section to make tests thread-safe.

Otherwise, when Rails decides to build assets while running the test
suite, we get:

WARN: tilt autoloading 'coffee_script' in a non thread-safe way; explicit require 'coffee_script' suggested.

2809: Remove javascript and coffeescript boilerplate.

2809: Remove some unnecessary sleep(0.1).

2809: Rearrange "run API server during tests" to suit Minitest 5.
Also, use passenger instead of webrick.

2809: Upgrade to Rails 4.1

2809: Add wait_for_ajax after submitting forms, to avoid race condition.

2809: Remove debug printfs, add comment explaining why so much "permit!"

2809: Add note about harmless warning when installing the themes_for_rails gem.

2809: Fix whitespace.

2809: Turn off secret_key_base by default, instead of requiring it in config.

2809: Fix load_config so it loads in time to set passenger configs.

2809: Merge branch 'master' refs #2809

Conflicts:
apps/workbench/Gemfile.lock
apps/workbench/app/controllers/application_controller.rb
apps/workbench/app/models/arvados_api_client.rb
apps/workbench/app/models/group.rb
apps/workbench/app/models/user.rb
apps/workbench/app/views/layouts/application.html.erb

2756: Fix "duplicate tab" behavior in Chrome.

2756: Fix ajax refresh on pipeline instance page.

Merge branch '2762-owner-uuid-integrity'

closes #2762

2762: Merge branch 'master' into 2762-owner-uuid-integrity

2755: Verify permission signatures on create.

Phase 1 of #2755: when creating a new collection, verify any permission
signatures found in the manifest.  Unsigned locators in the manifest are
implicitly permitted (to be disabled in Phase 4)

* Collections.create checks permission signatures in a manifest.
* Collections.show signs locators in a manifest.
* Unit test test_create_collection_with_signed_manifest exercises the
  'create' and 'show' methods on a signed manifest.
* application.default.yml, application.yml.example: added configuration
  variable Rails.configuration.permission_key.

Merge branch 'master' of git.curoverse.com:arvados

2762: Fix wrong class used in test case.

2762: Finish enigmatic comment.

2762: Move destroy_permission_links method to HasUuid.

2328: fix log.Warning bug

oops.

Merge branch '2328-keep-permission-flags' (closes #2328)

Merge branch '1968-monitor-disk-usage'
Lots of changes to datamanager. refs #2719

2328: code review comments.

Reversed histogram format, so timestamps come first.

Really write log messages to logfile. refs #2221 commit:ced5e21

Fix job state cleanup in crunch-job failure case.

2673: Use _method=GET hack to avoid combining request body with GET
method (but still support parameters too long to fit in a query
string).

2328: more 80-column fixes

2328: incorporate code review comments.

Wrap very long lines to 80 columns.

Describe each test failure more explicitly.

TestIndexHandler: Add /index/prefix tests for unauthenticated and
authenticated non-superusers.

TestGetHandler: initialize all variables in one var block.

main: failure to read permission key or data manager token is now a
fatal error.

Specify required ruby version (>= 2.1.0) in gems.

2673: Update bundle to ensure we get commit:67f1781 at runtime.

2673: Move auth to headers, avoid combining request body with GET method.

2821: Add "delete" button to pipeline instances page. closes #2821

2673: Update bundle to ensure we get commit:7ff8586 at runtime.

2638: Fix css syntax.

Add self-signed.{key,pem} to .gitignore files.

Merge branch '2673-no-request-body-in-get'

closes #2673

2673: Move auth to headers, avoid combining request body with GET method.

2754: Hide unhelpful "Add a new job" button.

2812: Fix "not in" filter so it can retrieve rows with null values.

closes #2812

Merge branch 'master' into 2352-remove-attrs

2808: Fix paging on jobs, pipeline_instances, api_client_authorizations.
Restore Jobs link to left nav.

closes #2808

Merge branch 'master' into 2352-remove-attrs

Merge branch 'master' into 2762-owner-uuid-integrity

2756: Use site-default x-editable mode for pipeline instance name.

Inline mode avoided an "editable popup hides behind left nav" bug
which was fixed in c66afecd36cf7d91223b5db79f3e120954f8217d.

2762: Rename assign_uuid to has_uuid to reflect expanded scope.

2762: When deleting an object, delete permissions and fail if other
links would be left dangling.

2762: Test assigning random non-existent owner_uuids to new objects.

2762: Protect owner_uuid referential integrity when changing uuids and
deleting users and groups.

2352: log statement to include uuid if either active or success found in changed attributes.

2328: restrict all /index requests to superuser

Per discussion with Tom on IRC: all /index requests, whether they
include a prefix argument or not, should be restricted to the superuser.

2352: Address review feedback: (1) input can be edited even in Ready state, (2) pipeline cleanup to set state to Paused if RunningOnClient.

Merge branch 'master' into 2352-remove-attrs

2803: Make all Python required versions match wheezy.

2803: Further relax Python SDK requirement for httplib2.

Our build server is using version 0.7.4, so it's apparently fine.

Merge branch '2803-python-package-split-wip'

Closes #2803, #2804.

2803: Relax Python library requirements.

Refs #2803.  We're generally undemanding on the libraries we pull in,
and this can help us use more OS-packaged libraries.

2803: FUSE driver is now under the AGPL.

This is both our intent after the package split, and consistent with
/COPYING file.

2803: Split arvados and arvados_fuse Python modules.

Prior commits tried to make separate SDK and FUSE packages from the
same sdk/python source tree.  However, this didn't work as intended
once the packages were installed.  Python modules don't work like Ruby
namespaces.  If you ask Python to import arvados.fuse, it finds the
arvados module, then looks for the fuse submodule under it.  So you
can't have arvados.fuse installed somewhere completely differently.

In addition, Python packages assume the installation script is called
setup.py.  So they wouldn't find setup_fuse.py.

We still want to have the FUSE module separate, so in discussion on
IRC we decided that the least worst option was to rename the module to
arvados_fuse.  This commit implements that.  If accepted, the new
build procedure will be:

  $ python setup.py egg_info -b \
    ".$(git log --format=format:%ct.%h -n1 .)" sdist upload

Refs #2803.

2352: add a info level log statement in pipeline_instance.rb if active or success flags are updated. The expection is that this should no longer happen.

2352: Update the workbench and arv-run-pipeline-instance script to use pipeline_instance status instead of active and success flags.

2803: Remove unused setup.py.src.

Fix whitespace.