api: Introduce path-based API token scopes.

Refs #1904, #2662 for background discussion.

api: Test VM login scopes.

The virtual machine controller is the only one doing anything
interesting with API token scopes right now.  I'm writing this test
for that functionality to make sure it stays effective through
refactoring.

api: Shorten name of authorized_keys index.

I had trouble running the new TimestampsNotNull migration, because I
ran into the index name limit described in the migration comments.
Running this migration first worked around the problem for me, and I
hope it saves others from tripping over it too.

Render group with folder view

Fix patch_paging_vars args.

Convert joins to subqueries to fix duplicates in owned_items

Expose names for owned_items as list_response.name_for() in Workbench

Merge branch '1904-object-scopes'

Closes #2642, #2662, #2682.

api: Support filters in API client auths index.

Per comments on Refs #1904.  filters is generally the preferred way to
do searching now.  I maintained existing limits on what can be
searched with this method.

api: Support scope searching in API token index.

api: Migrate VM auth scopes to new system.

VirtualMachinesController was the only one doing anything special with
API token scopes before we provided the more general-purpose system.
This commit removes its specialized code, and provides a database
migration to convert those specialized scopes to the general-purpose
schema.

api: Introduce path-based API token scopes.

Refs #1904, #2662 for background discussion.

api: Test VM login scopes.

The virtual machine controller is the only one doing anything
interesting with API token scopes right now.  I'm writing this test
for that functionality to make sure it stays effective through
refactoring.

Use name links instead of permission links to include objects in groups.

api: Shorten name of authorized_keys index.

I had trouble running the new TimestampsNotNull migration, because I
ran into the index name limit described in the migration comments.
Running this migration first worked around the problem for me, and I
hope it saves others from tripping over it too.

Merge branch 'master' into 2620-keep-serialize-io

Corrected name for volume_test.go.

Reorganized Volume code for easier comprehension.

Refs #2620

workbench: Add pipeline instance tag render test.

Sasha just tickled this, so we want to prevent future recurrences.

Make sure an IOHandler is running when -serialize is on.

Use MakeUnixVolume to create new UnixVolumes, to ensure that an
IOHandler is started whenever necessary. (refs #2620)

Fix crash when tags exist for items offered in selection widget.

Cleaned up unit tests. (refs #2620)

Added a MockVolume implementation to use in unit tests for the
Keep front-end handlers.

Simplified IsValidLocator and keep_test.go:setup code.

Cleaned up unit tests. (refs #2620)

Added a MockVolume implementation to use in unit tests for the
Keep front-end handlers.

Simplified IsValidLocator and keep_test.go:setup code.

Merge branch 'master' into 1969-persistent-switch

Increase contrast between active/inactive sides of toggle switch.

Add tests for persistent/cache switch.

Merge branch 'master' into origin-2608-websocket-event-bus-alt2

Bugfix.  Objects returned by owned_items are now sorted by uuid in order to get
a stable sort order when paging with limit and offset.

Resolving application_controller.rb merge conflicts, tests pass.

Merge branch 'master' into 1969-persistent-switch

Conflicts:
services/api/app/controllers/application_controller.rb

Merge branch '2505-update-docs'

refs #2505

Conflicts:
doc/api/methods/groups.html.textile.liquid
doc/api/methods/users.html.textile.liquid
doc/api/schema/Group.html.textile.liquid

Add UUIDs in TR tags so automated tests can find them.

Merge remote-tracking branch 'origin/master' into origin-2608-websocket-event-bus-alt2

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/db/schema.rb
services/api/test/test_helper.rb

Added tests, especially for error handling behavior.  Fixed bugs found by tests.

Merge branch '2640-folder-api'

refs #2640

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/config/routes.rb

Remove "Admin Guide" link from left nav.

Untabify.

Add persistent/cache toggle to collections table on dashboard.

Remove unused tutorial_group and tutorial_links queries.

Fix s/about/~/ substitution on dashboard.

Add persistent/cache toggle to collections#show page.

Move persistent/cache toggle into a partial.

Added -serialize flag.

Added IORequest and IOResponse types for communicating I/O
requests over channels with a goroutine.

New IOHandler method on UnixVolume. IOHandler receives requests on a
command channel, handles them, and delivers responses. Whenever a
UnixVolume is created with a non-nil queue, an IOHandler must be started
to handle its requests.

UnixVolume methods Get and Put now handle external I/O requests.  These
methods serialize I/O requests if serialization is enabled for that
volume; otherwise they call Read and Write directly.

New unit tests: TestGetSerialized and TestPutSerialized.

Refs #2620.

Add persistent/cache switch to collections index page.

Fixing indentation. Closes #2688

Merge branch '2612-workbench-displays-user-storage'
closes #2612

Fixed indentation.

Merge branch 'master' of git.curoverse.com:arvados into 2612-workbench-displays-user-storage

Added link to storage page, replaced tabs with spaces.

Wrapped channel callback in exception handler.

Websocket tests now use database cleaner instead of ActiveRecord's
transactional fixtures because the transaction needs to commit in order for
NOTIFY/LISTEN to work.  Fixed 'log' -> 'logs' table names in eventbus.rb.
First test for publishing an actual database change works.

Fix & test edge cases (no script_parameters), fix pipeline instance fixture UUIDs

Merge branch '2409-remove-unused-controllers'

closes #2409

Added websocket first tests for connecting and checking API token.

Add detail about what script_version should look like.

Added test runner for websocket tests.  Requires passenger standalone to be
installed.

Fix admin user setup instructions, add some missing "bundle exec",
remove unnecessary "Create an API token" section.

Fixed bug whereby readable_by could return duplicate rows if there is more than
one permission granting the ability to read the row.
Reorganized readable_by query a bit to make it easier to follow.
Added test for ownership and permission links when reading entries in the logs table.

Updated UnixVolume unit tests (refs #2620).

Moved the MD5 verification check back to GetBlock.

Policy tests such as checksumming belong in the Keep front end. The back
end should be limited to moving data in and out of a volume. (refs #2620)

Check sanity when applying filters, and provide useful error messages.

Remove excess controllers and routes. Add tests to detect accidental future additions.

Improve examples, explanations, typography, tests

Added UnixVolume unit tests. (refs #2620)

Merge branch 'master' into 2505-update-docs

Conflicts:
.gitignore

Added row to display totals.

Merge branch 'master' of git.curoverse.com:arvados into 2640-folder-api

Conflicts:
services/api/db/schema.rb
services/api/test/test_helper.rb

Rename jresponse test helper to json_response.

Merge branch 'master' of git.curoverse.com:arvados into 2612-workbench-displays-user-storage

Shortened date display, put long date view in mouseover text.

Support filters=[["attr","=",nil]]

Add tests, rename include_indirect to _linked, improve wording in
docs, improve offset/limit validation

Add explanation comments to assertions.

Made sizes human readable, added measurement date column.

Story 2352: Adding state and components_summary is completed.

Merge branch 'master' into 2352-phased-pipeline-instance-state

Added teardown to all tests which resets Thread.current[:user] and friends to
nil.  Fixed one faulty test that turned up as a result of this change.

Added teardown to all tests which resets Thread.current[:user] and friends to
nil.  Fixed one faulty test that turned up as a result of this change.

Merge branch 'master' into origin-2608-websocket-event-bus-alt2

Security bug fix to act_as_system_user to restore correct user if an
exception is raised.  Also adds tests for act_as_system_user.

Also a minor style cleanup of "== []" to ".empty?" and some additional
checks to test "refuse to activate a user before signing UA".

Merge branch 'master' of git.curoverse.com:arvados into 2612-workbench-displays-user-storage

Merge remote-tracking branch 'origin/master' into origin-2608-websocket-event-bus-alt2

Test helper now users ArvadosApiToken rack middleware to set current user.

- Added object_owner_uuid to logs table, which records the owner of the object
  being described at the time of the log entry.  Added migration.

- Added special case permission checks for reading logs table, and added
  documentation comments on how permission checks work.

- Eventbus reuses readable_by and record_filters in determining what to publish
  so provide consistent behavior between eventbus and regular API queries.

- Put most of apply_where_limit_order_params back into application_controller,
  refactored record_filters into lib/

- All of this still needs testing.

Working users/storage page!

Have a new view showing users at /users/storage. No storage info yet, but it's a start.

Made KeepVolumes a slice of Volume objects, not strings.

Moved more Unix-specific code into volume.go as part of the process.

Refactored load_filters_param and apply_where_limit_order_params into lib/
directory so that EventBus can use them.  Started adding filtering to EventBus, this is incomplete.

Improve wording of the welcome e-mail a bit.

User.full_name should not contain just a space when first_name and
last_name are not set.

Add a test for that, too.

Properties should not have symbol keys. Our API runs on JSON, which does
not have symbol keys. We want to be consistent in our use of keys, so we
don't use symbol keys within the API server for object properties.

This fixes pre-authenticating users. Again.

Added websocketUrl to discovery document.  Workbench websockets testing page
now uses endpoint from discovery discovery document.  Also added
ARVADOS_WEBSOCKETS environment variable.  If set, server will accept websocket
connections only and do not pass on any other type of requests.

Added permission checking to event bus so that it only report changes for
objects that the user has current read permission.

Fix test that was expecting a (now) incorrect number of links.

Set default value for

  I18n.enforce_available_locales

in config/environments/test.rb.example

Merge branch 'master' into 2352-phased-pipeline-instance-state

Moves API token authentication from ApplicationController into ArvadosApiToken Rack middleware.
Rearranges rack middleware stack a bit to accomodate.

Use the renamed components_look_ready? method during migration.

Rename is_ready method to components_look_ready? and add additional tests for state change.

Create a can_login link for a new user object, even if there are already
stray can_login link objects for another user object with the same
e-mail address in the database. Add a test for that scenario, too.