Merge remote-tracking branch 'origin/master' into origin-2608-websocket-event-bus-alt2

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/app/controllers/arvados/v1/schema_controller.rb
services/api/db/schema.rb

Moved message handling out to a separate method for clarity in eventbus.
Fixing name mismatch /websockets => /websocket in configuration
Added guards to various tests to ensure no more messages are processed after
the test is supposed to be done.

Short-circuts #readable_by when the user is admin.

Unsubscribe message now takes filter definition instead of filter_id, reducing
the state both the client and server have to maintain in order to support
unsubscribing.  Added code comments and updated tests.

Added code comments.

Now supports both websocket integrated (ARVADOS_WEBSOCKETS defined) and
websocket-only (ARVADOS_WEBSOCKETS=ws-only) server modes.  Added comment to
application.yml.example about setting websocket_address when running in
websocket-only mode.

Fix route name in nodes.create, add basic functional test.

Adding more code documentation.

api: Make JSON the default response format.

Rails assumes that the request should be sent in HTML unless a format
parameter or the Accept header expressly overrides that.  This change
makes JSON the default unless the request specified it would like
HTML.

Merge branch '0000-ruby-client-config'

Merge branch '1969-persistent-switch'

closes #1969

Replace radio button group with a single click-to-toggle button.

Merge branch 'master' into 1969-persistent-switch

Fix error reporting, catch "=foo" in config file, add dev doc.

Merge branch '1904-object-scopes'

Closes #2642, #2662, #2682.

api: Support filters in API client auths index.

Per comments on Refs #1904.  filters is generally the preferred way to
do searching now.  I maintained existing limits on what can be
searched with this method.

api: Support scope searching in API token index.

api: Migrate VM auth scopes to new system.

VirtualMachinesController was the only one doing anything special with
API token scopes before we provided the more general-purpose system.
This commit removes its specialized code, and provides a database
migration to convert those specialized scopes to the general-purpose
schema.

api: Introduce path-based API token scopes.

Refs #1904, #2662 for background discussion.

api: Test VM login scopes.

The virtual machine controller is the only one doing anything
interesting with API token scopes right now.  I'm writing this test
for that functionality to make sure it stays effective through
refactoring.

api: Shorten name of authorized_keys index.

I had trouble running the new TimestampsNotNull migration, because I
ran into the index name limit described in the migration comments.
Running this migration first worked around the problem for me, and I
hope it saves others from tripping over it too.

workbench: Add pipeline instance tag render test.

Sasha just tickled this, so we want to prevent future recurrences.

Fix crash when tags exist for items offered in selection widget.

Merge branch 'master' into 1969-persistent-switch

Increase contrast between active/inactive sides of toggle switch.

Add tests for persistent/cache switch.

Merge branch 'master' into origin-2608-websocket-event-bus-alt2

Bugfix.  Objects returned by owned_items are now sorted by uuid in order to get
a stable sort order when paging with limit and offset.

Resolving application_controller.rb merge conflicts, tests pass.

Merge branch 'master' into 1969-persistent-switch

Conflicts:
services/api/app/controllers/application_controller.rb

Merge branch '2505-update-docs'

refs #2505

Conflicts:
doc/api/methods/groups.html.textile.liquid
doc/api/methods/users.html.textile.liquid
doc/api/schema/Group.html.textile.liquid

Add UUIDs in TR tags so automated tests can find them.

Merge remote-tracking branch 'origin/master' into origin-2608-websocket-event-bus-alt2

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/db/schema.rb
services/api/test/test_helper.rb

Added tests, especially for error handling behavior.  Fixed bugs found by tests.

Merge branch '2640-folder-api'

refs #2640

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/config/routes.rb

Remove "Admin Guide" link from left nav.

Untabify.

Add persistent/cache toggle to collections table on dashboard.

Remove unused tutorial_group and tutorial_links queries.

Fix s/about/~/ substitution on dashboard.

Add persistent/cache toggle to collections#show page.

Move persistent/cache toggle into a partial.

Add persistent/cache switch to collections index page.

Fixing indentation. Closes #2688

Merge branch '2612-workbench-displays-user-storage'
closes #2612

Fixed indentation.

Merge branch 'master' of git.curoverse.com:arvados into 2612-workbench-displays-user-storage

Added link to storage page, replaced tabs with spaces.

Wrapped channel callback in exception handler.

Websocket tests now use database cleaner instead of ActiveRecord's
transactional fixtures because the transaction needs to commit in order for
NOTIFY/LISTEN to work.  Fixed 'log' -> 'logs' table names in eventbus.rb.
First test for publishing an actual database change works.

Fix & test edge cases (no script_parameters), fix pipeline instance fixture UUIDs

Merge branch '2409-remove-unused-controllers'

closes #2409

Added websocket first tests for connecting and checking API token.

Add detail about what script_version should look like.

Added test runner for websocket tests.  Requires passenger standalone to be
installed.

Fix admin user setup instructions, add some missing "bundle exec",
remove unnecessary "Create an API token" section.

Fixed bug whereby readable_by could return duplicate rows if there is more than
one permission granting the ability to read the row.
Reorganized readable_by query a bit to make it easier to follow.
Added test for ownership and permission links when reading entries in the logs table.

Check sanity when applying filters, and provide useful error messages.

Remove excess controllers and routes. Add tests to detect accidental future additions.

Improve examples, explanations, typography, tests

Merge branch 'master' into 2505-update-docs

Conflicts:
.gitignore

Added row to display totals.

Merge branch 'master' of git.curoverse.com:arvados into 2640-folder-api

Conflicts:
services/api/db/schema.rb
services/api/test/test_helper.rb

Rename jresponse test helper to json_response.

Merge branch 'master' of git.curoverse.com:arvados into 2612-workbench-displays-user-storage

Shortened date display, put long date view in mouseover text.

Support filters=[["attr","=",nil]]

Add tests, rename include_indirect to _linked, improve wording in
docs, improve offset/limit validation

Add explanation comments to assertions.

Made sizes human readable, added measurement date column.

Story 2352: Adding state and components_summary is completed.

Merge branch 'master' into 2352-phased-pipeline-instance-state

Added teardown to all tests which resets Thread.current[:user] and friends to
nil.  Fixed one faulty test that turned up as a result of this change.

Added teardown to all tests which resets Thread.current[:user] and friends to
nil.  Fixed one faulty test that turned up as a result of this change.

Merge branch 'master' into origin-2608-websocket-event-bus-alt2

Security bug fix to act_as_system_user to restore correct user if an
exception is raised.  Also adds tests for act_as_system_user.

Also a minor style cleanup of "== []" to ".empty?" and some additional
checks to test "refuse to activate a user before signing UA".

Merge branch 'master' of git.curoverse.com:arvados into 2612-workbench-displays-user-storage

Merge remote-tracking branch 'origin/master' into origin-2608-websocket-event-bus-alt2

Test helper now users ArvadosApiToken rack middleware to set current user.

- Added object_owner_uuid to logs table, which records the owner of the object
  being described at the time of the log entry.  Added migration.

- Added special case permission checks for reading logs table, and added
  documentation comments on how permission checks work.

- Eventbus reuses readable_by and record_filters in determining what to publish
  so provide consistent behavior between eventbus and regular API queries.

- Put most of apply_where_limit_order_params back into application_controller,
  refactored record_filters into lib/

- All of this still needs testing.

Working users/storage page!

Have a new view showing users at /users/storage. No storage info yet, but it's a start.

Refactored load_filters_param and apply_where_limit_order_params into lib/
directory so that EventBus can use them.  Started adding filtering to EventBus, this is incomplete.

Improve wording of the welcome e-mail a bit.

User.full_name should not contain just a space when first_name and
last_name are not set.

Add a test for that, too.

Properties should not have symbol keys. Our API runs on JSON, which does
not have symbol keys. We want to be consistent in our use of keys, so we
don't use symbol keys within the API server for object properties.

This fixes pre-authenticating users. Again.

Added websocketUrl to discovery document.  Workbench websockets testing page
now uses endpoint from discovery discovery document.  Also added
ARVADOS_WEBSOCKETS environment variable.  If set, server will accept websocket
connections only and do not pass on any other type of requests.

Added permission checking to event bus so that it only report changes for
objects that the user has current read permission.

Fix test that was expecting a (now) incorrect number of links.

Set default value for

  I18n.enforce_available_locales

in config/environments/test.rb.example

Merge branch 'master' into 2352-phased-pipeline-instance-state

Moves API token authentication from ApplicationController into ArvadosApiToken Rack middleware.
Rearranges rack middleware stack a bit to accomodate.

Use the renamed components_look_ready? method during migration.

Rename is_ready method to components_look_ready? and add additional tests for state change.

Create a can_login link for a new user object, even if there are already
stray can_login link objects for another user object with the same
e-mail address in the database. Add a test for that scenario, too.

Add two missing sudo.

Moved application-specific code out from rack_socket to lib/eventbus.rb

Set state during save

Build response objects based on item type rather than list type.

Add unit test for User#owned_items.