Merge branch '2612-workbench-displays-user-storage'
closes #2612

Fixed indentation.

Merge branch 'master' of git.curoverse.com:arvados into 2612-workbench-displays-user-storage

Added link to storage page, replaced tabs with spaces.

Wrapped channel callback in exception handler.

Websocket tests now use database cleaner instead of ActiveRecord's
transactional fixtures because the transaction needs to commit in order for
NOTIFY/LISTEN to work.  Fixed 'log' -> 'logs' table names in eventbus.rb.
First test for publishing an actual database change works.

Fix & test edge cases (no script_parameters), fix pipeline instance fixture UUIDs

Merge branch '2409-remove-unused-controllers'

closes #2409

Added websocket first tests for connecting and checking API token.

Add detail about what script_version should look like.

Added test runner for websocket tests.  Requires passenger standalone to be
installed.

Fix admin user setup instructions, add some missing "bundle exec",
remove unnecessary "Create an API token" section.

Fixed bug whereby readable_by could return duplicate rows if there is more than
one permission granting the ability to read the row.
Reorganized readable_by query a bit to make it easier to follow.
Added test for ownership and permission links when reading entries in the logs table.

Updated UnixVolume unit tests (refs #2620).

Moved the MD5 verification check back to GetBlock.

Policy tests such as checksumming belong in the Keep front end. The back
end should be limited to moving data in and out of a volume. (refs #2620)

Check sanity when applying filters, and provide useful error messages.

Remove excess controllers and routes. Add tests to detect accidental future additions.

Improve examples, explanations, typography, tests

Added UnixVolume unit tests. (refs #2620)

Merge branch 'master' into 2505-update-docs

Conflicts:
.gitignore

Added row to display totals.

Merge branch 'master' of git.curoverse.com:arvados into 2640-folder-api

Conflicts:
services/api/db/schema.rb
services/api/test/test_helper.rb

Rename jresponse test helper to json_response.

Merge branch 'master' of git.curoverse.com:arvados into 2612-workbench-displays-user-storage

Shortened date display, put long date view in mouseover text.

Support filters=[["attr","=",nil]]

Add tests, rename include_indirect to _linked, improve wording in
docs, improve offset/limit validation

Add explanation comments to assertions.

Made sizes human readable, added measurement date column.

Story 2352: Adding state and components_summary is completed.

Merge branch 'master' into 2352-phased-pipeline-instance-state

Added teardown to all tests which resets Thread.current[:user] and friends to
nil.  Fixed one faulty test that turned up as a result of this change.

Added teardown to all tests which resets Thread.current[:user] and friends to
nil.  Fixed one faulty test that turned up as a result of this change.

Merge branch 'master' into origin-2608-websocket-event-bus-alt2

Security bug fix to act_as_system_user to restore correct user if an
exception is raised.  Also adds tests for act_as_system_user.

Also a minor style cleanup of "== []" to ".empty?" and some additional
checks to test "refuse to activate a user before signing UA".

Merge branch 'master' of git.curoverse.com:arvados into 2612-workbench-displays-user-storage

Merge remote-tracking branch 'origin/master' into origin-2608-websocket-event-bus-alt2

Test helper now users ArvadosApiToken rack middleware to set current user.

- Added object_owner_uuid to logs table, which records the owner of the object
  being described at the time of the log entry.  Added migration.

- Added special case permission checks for reading logs table, and added
  documentation comments on how permission checks work.

- Eventbus reuses readable_by and record_filters in determining what to publish
  so provide consistent behavior between eventbus and regular API queries.

- Put most of apply_where_limit_order_params back into application_controller,
  refactored record_filters into lib/

- All of this still needs testing.

Working users/storage page!

Have a new view showing users at /users/storage. No storage info yet, but it's a start.

Made KeepVolumes a slice of Volume objects, not strings.

Moved more Unix-specific code into volume.go as part of the process.

Refactored load_filters_param and apply_where_limit_order_params into lib/
directory so that EventBus can use them.  Started adding filtering to EventBus, this is incomplete.

Improve wording of the welcome e-mail a bit.

User.full_name should not contain just a space when first_name and
last_name are not set.

Add a test for that, too.

Properties should not have symbol keys. Our API runs on JSON, which does
not have symbol keys. We want to be consistent in our use of keys, so we
don't use symbol keys within the API server for object properties.

This fixes pre-authenticating users. Again.

Added websocketUrl to discovery document.  Workbench websockets testing page
now uses endpoint from discovery discovery document.  Also added
ARVADOS_WEBSOCKETS environment variable.  If set, server will accept websocket
connections only and do not pass on any other type of requests.

Added permission checking to event bus so that it only report changes for
objects that the user has current read permission.

Fix test that was expecting a (now) incorrect number of links.

Set default value for

  I18n.enforce_available_locales

in config/environments/test.rb.example

Merge branch 'master' into 2352-phased-pipeline-instance-state

Moves API token authentication from ApplicationController into ArvadosApiToken Rack middleware.
Rearranges rack middleware stack a bit to accomodate.

Use the renamed components_look_ready? method during migration.

Rename is_ready method to components_look_ready? and add additional tests for state change.

Create a can_login link for a new user object, even if there are already
stray can_login link objects for another user object with the same
e-mail address in the database. Add a test for that scenario, too.

Add two missing sudo.

Bug fix: GetBlock must report a CorruptError immediately.

Refs #2620.

Moved application-specific code out from rack_socket to lib/eventbus.rb

Set state during save

Build response objects based on item type rather than list type.

Add unit test for User#owned_items.

2352: Add state to pipeline_instance. Db migration and unit testing.

Add docs for owned_items.

Rename include_managed to include_indirect.

Support limit and offset params in owned_items.

Add owned_items action for groups and users.

Added code to properly initialize EventMachine to deal with Passenger forking.
Added postgres NOTIFY to ArvadosModel#log_change
Added postgres LISTEN to background thread, which posts a message to the websocket.
Notification works!

Fill in "I'm in a folder" fixtures

Improve permission link examples.

Proof of concept echo server based on rack middleware that hijacks websocket connections.

Add some test fixtures that are owned by folders.

Websocket event testing page.

Set :null=>false explicitly on timestamp columns.

New versions of Rails do this automatically, but dev instances keep
having edit wars because some of them have never been told to add the
not-null constraint.

Remove _kind columns from schema.

(Seemingly reintroduced by accident in
cc5023d40182e503e8ba109fc86e09efd6337836)

Expose generate_uuid class method, e.g., for making test fixtures.

Add group_class attribute.

Fix failing test in 8d6efcbfb559e377a8f21873b736390035bc44ed.

Permit a job to update its output and log attributes even if those
collections have not yet been registered with apiserver.

Hide refresh button on "show pipeline instance" page.

Fix configuration behavior in Ruby SDK.

API_VERSION is not configuration: it indicates how a client program
expects the API server to behave. (No environment variable or config
file should try to override that.)

Do not invoke insecure behavior unless API_HOST_INSECURE is "1",
"true", or "yes".

If API_HOST and API_TOKEN environment variables are set, do not bother
reading the configuration file at all.

Strip spaces so "API_TOKEN = foo" works in the configuration file.

Add dependency info to Workbench install page. Fix "is_trusted" recipe.

Remove updated_at from API responses.

Describe logins and get_all_logins methods.

Fix up job create/cancel descriptions.

Clean up API schema and method pages.

Fill in missing object descriptions.
Remove redundant updated_at attributes.
Move methods sections from schema pages to method pages.
Remove some unnecessary empty sections.
Remove obsolete Commit and CommitAncestor.

Remove spurious "destroy" methods from API docs.

Remove spurious "show" methods from API docs.

Use "filters" instead of "where" in examples and docs. Remove
references to unsupported "q" and "pageToken" parameters.

Accept minimum_script_version, excluded_script_versions, and
find_or_create flag as parameters to create, instead of treating them
as if they were attributes of the Job resource.

Accept find_or_create as a positive flag, rather than no_reuse as a
negative flag.

Behave as requested by the find_or_create flag even if
nondeterministic=true in the submitted job: i.e., a client can use the
find_or_create feature when submitting a job which itself will never
be reused. (It's up to the client to decide whether this is ever
useful.)

For now, both old and new flag names/locations are accepted and
supplied by API server and arv-run-pipeline-instance respectively.

Extricate flags controlling jobs.create behavior from the Job resource itself.

Fix here-doc usage.

Clean up .gitignore files

Adding a Volume interface and UnixVolume implementation.

refs #2620

Reorganize Keep code in preparation for dividing into modules.

Refs #2620

Add Postgres setup instructions. Fix missing "bundle exec".

Fix missing --format=uuid, fix obsolete version=repo:commit example.

Fix up MD5 and Git capitalization/typeface and some Git vocabulary

Fix up SSH capitalization/typeface

Add missing </span> tag.

Add instructions for Ruby and bundler. Add missing dependencies.