workbench: Reader tokens show collection files.

Fundamentally, this commit aims to support reader tokens when showing
a file from a Collection.  Because this requires changing the token
handling generally, I also took this opportunity to improve error
reporting by checking the request's validity against the API server
before we pipe out to arv-get to render the file.

As a consequence, Workbench now returns a 404 if you request a file
using a token that does not have permission to read the collection.
Maybe this is not the best result, but previously it returned a 422,
so I think this counts as an improvement.

workbench: Add initial reader tokens support.

The API server recently gained support for reader tokens, which
optionally supplement the user's permissions for read-only
operations.  This commit extends Workbench to pass on reader tokens
for general index and show operations.

workbench: Add Collections controller tests.

Working to establish a baseline of behavior before I go mucking with
this.

workbench: Remove trailing whitespace.

Do not try to record object_owner_uuid during earlier migrations.

Fix crashing "grant access to my own object" permission check.

Merge branch '2223-repo-owner-admin-perms'

closes #2223

Merge branch 'query-select-distinct'

Restored support for old-style 'order' strings and added test.  Clarified
documentation for 'distinct' as to the default behavior.

Fixed botched 'distinct' parameter, now is a boolean instead of taking a
column.  New tests.  Also changed syntax of 'order' to take a JSON array for
consistency with 'filters' and 'select'.

Take into account owner_uuid and is_admin when exporting repository permissions.

Fix for interaction between 'select' and 'order' (SQL requires that order
fields show up in select when doing select distinct; readable_by does 'select distinct' by default to avoid duplicate rows).

Merge remote-tracking branch 'origin/master' into 2035-arv-mount-tags-folders

Conflicts:
services/api/app/controllers/application_controller.rb

Added 'select' and 'distinct' parameters to discovery document.  Improved
select parameter to parse strings as json.

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Another go at migration, uses batched loading and transactions, should have
improved performance.

Merge branch '2328-signatures-for-integration-testing'

refs #2328

Add test cases that produce predictable signatures with fixed expiry times.

Put back missing parentheses.

Changed Log.all.each to Log.find_each because Log.all loads all records (!) and
Log.find_each loads records in batches.  Hopefully this will enable migration
to run without being killed.

Fixed middleware customization so that it doesn't assume the presence or
location of ActionDispatch::Static.

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Merge branch 'origin-2608-websocket-event-bus-alt2'

Conflicts:
services/api/app/models/arvados_model.rb
services/api/test/test_helper.rb

Merge branch '2620-keep-serialize-io' (closes #2620)

Replaced KeepVolumes with a VolumeManager interface.

A VolumeManager interface may be used to set policy for writing to a set
of Keep volumes. The sole implementation at present is RRVolumeManager,
which implements simple round-robin scheduling; other implementations
could include a manager which selects the least-loaded disk first, the
fastest one, the one with the fewest pending writes, etc. etc.

Refs #2620

Merge branch '1904-api-reader-tokens'

Closes #2702, #2707.

api: Accept JSON-formatted reader token array.

api: Introduce reader_tokens for extra access.

reader_tokens are API tokens whose read permissions will be added to
the primary API token's.  For actions that only read resources, like
:index and :show, you can now omit the API token as long as you
provide at least one reader_token.

This allows users to get access to one-off resources without
interrupting their primary session.  For example, Workbench will use
it to access Collections shared via secret link.

api: More consistency in test helper methods.

I keep accidentally rewriting the methods in ArvadosTestHelper, so I'm
putting them in one module loaded for all tests so I can use them
consistently.

Merge remote-tracking branch 'origin/master' into origin-2608-websocket-event-bus-alt2

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/app/controllers/arvados/v1/schema_controller.rb
services/api/db/schema.rb

Moved message handling out to a separate method for clarity in eventbus.
Fixing name mismatch /websockets => /websocket in configuration
Added guards to various tests to ensure no more messages are processed after
the test is supposed to be done.

Short-circuts #readable_by when the user is admin.

Unsubscribe message now takes filter definition instead of filter_id, reducing
the state both the client and server have to maintain in order to support
unsubscribing.  Added code comments and updated tests.

Added code comments.

Now supports both websocket integrated (ARVADOS_WEBSOCKETS defined) and
websocket-only (ARVADOS_WEBSOCKETS=ws-only) server modes.  Added comment to
application.yml.example about setting websocket_address when running in
websocket-only mode.

Fix route name in nodes.create, add basic functional test.

Adding more code documentation.

api: Make JSON the default response format.

Rails assumes that the request should be sent in HTML unless a format
parameter or the Accept header expressly overrides that.  This change
makes JSON the default unless the request specified it would like
HTML.

Added support for :distinct to application controller.  User can now specify a
column and only get back rows with distinct values of that column.

Merge branch '0000-ruby-client-config'

Added ability to select which fields to return, instead of always returning all fields.

Incorporating code review comments (refs #2620)

* use filepath.Join to build file paths instead of fmt.Sprintf
* use ioutil.ReadAll to ensure that we read the whole file

Merge branch '1969-persistent-switch'

closes #1969

Replace radio button group with a single click-to-toggle button.

Merge branch 'master' into 1969-persistent-switch

Fix error reporting, catch "=foo" in config file, add dev doc.

Merge branch '1904-object-scopes'

Closes #2642, #2662, #2682.

api: Support filters in API client auths index.

Per comments on Refs #1904.  filters is generally the preferred way to
do searching now.  I maintained existing limits on what can be
searched with this method.

api: Support scope searching in API token index.

api: Migrate VM auth scopes to new system.

VirtualMachinesController was the only one doing anything special with
API token scopes before we provided the more general-purpose system.
This commit removes its specialized code, and provides a database
migration to convert those specialized scopes to the general-purpose
schema.

api: Introduce path-based API token scopes.

Refs #1904, #2662 for background discussion.

api: Test VM login scopes.

The virtual machine controller is the only one doing anything
interesting with API token scopes right now.  I'm writing this test
for that functionality to make sure it stays effective through
refactoring.

api: Shorten name of authorized_keys index.

I had trouble running the new TimestampsNotNull migration, because I
ran into the index name limit described in the migration comments.
Running this migration first worked around the problem for me, and I
hope it saves others from tripping over it too.

Merge branch 'master' into 2620-keep-serialize-io

Corrected name for volume_test.go.

Reorganized Volume code for easier comprehension.

Refs #2620

workbench: Add pipeline instance tag render test.

Sasha just tickled this, so we want to prevent future recurrences.

Make sure an IOHandler is running when -serialize is on.

Use MakeUnixVolume to create new UnixVolumes, to ensure that an
IOHandler is started whenever necessary. (refs #2620)

Fix crash when tags exist for items offered in selection widget.

Cleaned up unit tests. (refs #2620)

Added a MockVolume implementation to use in unit tests for the
Keep front-end handlers.

Simplified IsValidLocator and keep_test.go:setup code.

Cleaned up unit tests. (refs #2620)

Added a MockVolume implementation to use in unit tests for the
Keep front-end handlers.

Simplified IsValidLocator and keep_test.go:setup code.

Merge branch 'master' into 1969-persistent-switch

Increase contrast between active/inactive sides of toggle switch.

Add tests for persistent/cache switch.

Merge branch 'master' into origin-2608-websocket-event-bus-alt2

Bugfix.  Objects returned by owned_items are now sorted by uuid in order to get
a stable sort order when paging with limit and offset.

Resolving application_controller.rb merge conflicts, tests pass.

Merge branch 'master' into 1969-persistent-switch

Conflicts:
services/api/app/controllers/application_controller.rb

Merge branch '2505-update-docs'

refs #2505

Conflicts:
doc/api/methods/groups.html.textile.liquid
doc/api/methods/users.html.textile.liquid
doc/api/schema/Group.html.textile.liquid

Add UUIDs in TR tags so automated tests can find them.

Merge remote-tracking branch 'origin/master' into origin-2608-websocket-event-bus-alt2

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/db/schema.rb
services/api/test/test_helper.rb

Added tests, especially for error handling behavior.  Fixed bugs found by tests.

Merge branch '2640-folder-api'

refs #2640

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/config/routes.rb

Remove "Admin Guide" link from left nav.

Untabify.

Add persistent/cache toggle to collections table on dashboard.

Remove unused tutorial_group and tutorial_links queries.

Fix s/about/~/ substitution on dashboard.

Add persistent/cache toggle to collections#show page.

Move persistent/cache toggle into a partial.

Added -serialize flag.

Added IORequest and IOResponse types for communicating I/O
requests over channels with a goroutine.

New IOHandler method on UnixVolume. IOHandler receives requests on a
command channel, handles them, and delivers responses. Whenever a
UnixVolume is created with a non-nil queue, an IOHandler must be started
to handle its requests.

UnixVolume methods Get and Put now handle external I/O requests.  These
methods serialize I/O requests if serialization is enabled for that
volume; otherwise they call Read and Write directly.

New unit tests: TestGetSerialized and TestPutSerialized.

Refs #2620.

Add persistent/cache switch to collections index page.

Fixing indentation. Closes #2688

Merge branch '2612-workbench-displays-user-storage'
closes #2612

Fixed indentation.

Merge branch 'master' of git.curoverse.com:arvados into 2612-workbench-displays-user-storage

Added link to storage page, replaced tabs with spaces.

Wrapped channel callback in exception handler.

Websocket tests now use database cleaner instead of ActiveRecord's
transactional fixtures because the transaction needs to commit in order for
NOTIFY/LISTEN to work.  Fixed 'log' -> 'logs' table names in eventbus.rb.
First test for publishing an actual database change works.

Fix & test edge cases (no script_parameters), fix pipeline instance fixture UUIDs

Merge branch '2409-remove-unused-controllers'

closes #2409

Added websocket first tests for connecting and checking API token.

Add detail about what script_version should look like.

Added test runner for websocket tests.  Requires passenger standalone to be
installed.

Fix admin user setup instructions, add some missing "bundle exec",
remove unnecessary "Create an API token" section.

Fixed bug whereby readable_by could return duplicate rows if there is more than
one permission granting the ability to read the row.
Reorganized readable_by query a bit to make it easier to follow.
Added test for ownership and permission links when reading entries in the logs table.

Updated UnixVolume unit tests (refs #2620).

Moved the MD5 verification check back to GetBlock.

Policy tests such as checksumming belong in the Keep front end. The back
end should be limited to moving data in and out of a volume. (refs #2620)

Check sanity when applying filters, and provide useful error messages.

Remove excess controllers and routes. Add tests to detect accidental future additions.