Merge branch 'master' into origin-2035-arv-mount-tags-folders

Fix broken test case.

Merge branch 'master' of git.curoverse.com:arvados

Documentation tweaks:
* Python SDK requires Python 2.7, make that clear up front
* Remove duplicated SDK installation instructions

Merge branch '2640-folder-api'

Merge branch 'master' into 2640-folder-api

Conflicts:
apps/workbench/app/models/arvados_api_client.rb

Raise PermissionDeniedError even more consistently

Merge branch 'master' into 2035-arv-mount-tags-folders

Refactored freshness/updating to be more generic for different virtual
directory types.  Added polling based on timeout as an alternative to
websockets.  Refactored tests a bit.

Raise PermissionDeniedError more consistently

Comment mysterious testing code.

Add test for links_for + multiple link_classes.

Added websockets support to Python SDK, with integration test.  Also built out
runner script for running test server from python.

Merge branch '1904-workbench-reader-tokens'

Refs #1904.  Closes #2663, #2736.

workbench: Reader tokens show collection files.

Fundamentally, this commit aims to support reader tokens when showing
a file from a Collection.  Because this requires changing the token
handling generally, I also took this opportunity to improve error
reporting by checking the request's validity against the API server
before we pipe out to arv-get to render the file.

As a consequence, Workbench now returns a 404 if you request a file
using a token that does not have permission to read the collection.
Maybe this is not the best result, but previously it returned a 422,
so I think this counts as an improvement.

workbench: Add initial reader tokens support.

The API server recently gained support for reader tokens, which
optionally supplement the user's permissions for read-only
operations.  This commit extends Workbench to pass on reader tokens
for general index and show operations.

workbench: Add Collections controller tests.

Working to establish a baseline of behavior before I go mucking with
this.

workbench: Remove trailing whitespace.

Merge branch '2328-keep-permission-hints'

Resolve code review (closes #2328)

Fix doc comments and argument names for the expiry timestamp arguments
for SignLocator and makePermSignature.

Finished implementing FuseTagsTest, fixed bugs in arv-mount, test passes.

Behave nicer if supplied owner_uuid is not a valid uuid at all.

Do not try to record object_owner_uuid during earlier migrations.

Merge branch 'master' into 2640-folder-api

Fix crashing "grant access to my own object" permission check.

Prevent ownership cycles.

Improve code formatting

Return all links if link_class is not provided. Add docs.

Return empty list if no "links" supplied in api response. Add tests.

Incorporating code review. (refs #2328)

Created a seperate arvados-fuse-driver package.

Merge branch '2223-repo-owner-admin-perms'

closes #2223

Merge branch 'master' into 2035-arv-mount-tags-folders

Merge branch 'query-select-distinct'

Restored support for old-style 'order' strings and added test.  Clarified
documentation for 'distinct' as to the default behavior.

Fixed botched 'distinct' parameter, now is a boolean instead of taking a
column.  New tests.  Also changed syntax of 'order' to take a JSON array for
consistency with 'filters' and 'select'.

Update docs. (refs #2328)

Added permission helper functions.

GeneratePerms returns a string representing the signed permission hint
for the blob identified by blob_hash, api_token and timestamp.

SignLocator takes a blob_locator, an api_token and a timestamp, and
returns a signed locator string.

VerifySignature returns true if the signature on the signed_locator can
be verified using the given api_token.

Refs #2328.

Added run_test_server helper module for Python SDK that runs API server in test
mode and provides access to fixtures and API tokens.

Take into account owner_uuid and is_admin when exporting repository permissions.

Refactored directory handling a bit in fuse to better accomodate other virtual
directory types, and added virtual directories for tags (untested).  Existing
tests pass, need to write new tests for tag directories.

Fix crash if item has no name (backported from 1970-folder-view)

Fix for interaction between 'select' and 'order' (SQL requires that order
fields show up in select when doing select distinct; readable_by does 'select distinct' by default to avoid duplicate rows).

Name links do not need to be owned by tail_uuid.

Add unique and valid name constraints.

Fix wrong infixes in fixture uuids.

Merge branch 'master' into 2640-folder-api

Merge remote-tracking branch 'origin/master' into 2035-arv-mount-tags-folders

Conflicts:
services/api/app/controllers/application_controller.rb

Added 'select' and 'distinct' parameters to discovery document.  Improved
select parameter to parse strings as json.

Use partial unique index for name links.

Fix log permission case broken in merge.

Merge branch 'master' into 2640-folder-api

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/app/models/arvados_model.rb

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Another go at migration, uses batched loading and transactions, should have
improved performance.

Merge branch '2328-signatures-for-integration-testing'

refs #2328

Add partial unique index

Add test cases that produce predictable signatures with fixed expiry times.

Put back missing parentheses.

Changed Log.all.each to Log.find_each because Log.all loads all records (!) and
Log.find_each loads records in batches.  Hopefully this will enable migration
to run without being killed.

Fixed middleware customization so that it doesn't assume the presence or
location of ActionDispatch::Static.

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Merge branch 'origin-2608-websocket-event-bus-alt2'

Conflicts:
services/api/app/models/arvados_model.rb
services/api/test/test_helper.rb

Merge branch '2620-keep-serialize-io' (closes #2620)

Merge branch 'master' into 2640-folder-api

Replaced KeepVolumes with a VolumeManager interface.

A VolumeManager interface may be used to set policy for writing to a set
of Keep volumes. The sole implementation at present is RRVolumeManager,
which implements simple round-robin scheduling; other implementations
could include a manager which selects the least-loaded disk first, the
fastest one, the one with the fewest pending writes, etc. etc.

Refs #2620

Merge branch '1904-api-reader-tokens'

Closes #2702, #2707.

api: Accept JSON-formatted reader token array.

api: Introduce reader_tokens for extra access.

reader_tokens are API tokens whose read permissions will be added to
the primary API token's.  For actions that only read resources, like
:index and :show, you can now omit the API token as long as you
provide at least one reader_token.

This allows users to get access to one-off resources without
interrupting their primary session.  For example, Workbench will use
it to access Collections shared via secret link.

api: More consistency in test helper methods.

I keep accidentally rewriting the methods in ArvadosTestHelper, so I'm
putting them in one module loaded for all tests so I can use them
consistently.

Merge remote-tracking branch 'origin/master' into origin-2608-websocket-event-bus-alt2

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/app/controllers/arvados/v1/schema_controller.rb
services/api/db/schema.rb

Moved message handling out to a separate method for clarity in eventbus.
Fixing name mismatch /websockets => /websocket in configuration
Added guards to various tests to ensure no more messages are processed after
the test is supposed to be done.

Short-circuts #readable_by when the user is admin.

Unsubscribe message now takes filter definition instead of filter_id, reducing
the state both the client and server have to maintain in order to support
unsubscribing.  Added code comments and updated tests.

Added code comments.

Now supports both websocket integrated (ARVADOS_WEBSOCKETS defined) and
websocket-only (ARVADOS_WEBSOCKETS=ws-only) server modes.  Added comment to
application.yml.example about setting websocket_address when running in
websocket-only mode.

Fix route name in nodes.create, add basic functional test.

Adding more code documentation.

Rename owned_items to contents, remove user method, update docs.

api: Make JSON the default response format.

Rails assumes that the request should be sent in HTML unless a format
parameter or the Accept header expressly overrides that.  This change
makes JSON the default unless the request specified it would like
HTML.

Added support for :distinct to application controller.  User can now specify a
column and only get back rows with distinct values of that column.

Merge branch '0000-ruby-client-config'

Added ability to select which fields to return, instead of always returning all fields.

Incorporating code review comments (refs #2620)

* use filepath.Join to build file paths instead of fmt.Sprintf
* use ioutil.ReadAll to ensure that we read the whole file

Merge branch '1969-persistent-switch'

closes #1969

Replace radio button group with a single click-to-toggle button.

Merge branch 'master' into 1969-persistent-switch

Fix error reporting, catch "=foo" in config file, add dev doc.

Skip UserAgreement in owned_items. They are just collections again.

Fix patch_paging_vars args.

Convert joins to subqueries to fix duplicates in owned_items

Expose names for owned_items as list_response.name_for() in Workbench

Merge branch '1904-object-scopes'

Closes #2642, #2662, #2682.

api: Support filters in API client auths index.

Per comments on Refs #1904.  filters is generally the preferred way to
do searching now.  I maintained existing limits on what can be
searched with this method.

api: Support scope searching in API token index.

api: Migrate VM auth scopes to new system.

VirtualMachinesController was the only one doing anything special with
API token scopes before we provided the more general-purpose system.
This commit removes its specialized code, and provides a database
migration to convert those specialized scopes to the general-purpose
schema.

api: Introduce path-based API token scopes.

Refs #1904, #2662 for background discussion.

api: Test VM login scopes.

The virtual machine controller is the only one doing anything
interesting with API token scopes right now.  I'm writing this test
for that functionality to make sure it stays effective through
refactoring.

Use name links instead of permission links to include objects in groups.

api: Shorten name of authorized_keys index.

I had trouble running the new TimestampsNotNull migration, because I
ran into the index name limit described in the migration comments.
Running this migration first worked around the problem for me, and I
hope it saves others from tripping over it too.

Merge branch 'master' into 2620-keep-serialize-io