2328: code review comments.

2328: more 80-column fixes

2328: incorporate code review comments.

Wrap very long lines to 80 columns.

Describe each test failure more explicitly.

TestIndexHandler: Add /index/prefix tests for unauthenticated and
authenticated non-superusers.

TestGetHandler: initialize all variables in one var block.

main: failure to read permission key or data manager token is now a
fatal error.

2328: restrict all /index requests to superuser

Per discussion with Tom on IRC: all /index requests, whether they
include a prefix argument or not, should be restricted to the superuser.

2328: handler_test.go refactoring

Refactoring to make tests easier to read and understand.

2328: fix TestPutHandler permission_ttl

permission_ttl is normally initialized in main, which is not run from a
unit test.  So a unit test which relies on generating valid permission
signatures must initialize permission_ttl itself.

2328: simplify tests, permission_ttl variable

Incorporating code review:

Added ExpectStatusCode and ExpectBody to simplify repetitive tests.

permission_ttl is now a time.Duration to reduce confusion about units.

2328: do not expose keys to /bin/ps

For the data manager token and permission key, the command line flags
now specify a file from which to read secrets rather than specifying
them on the command line:

  --data-manager-token-file
  --permission-key-file

Added handler_test.go. (refs #2328)

Split out HTTP handler tests into their own file.

Refs #2328

Require enforce_permissions and API token as necessary.

Unqualified /index requests require enforce_permissions to be enabled
and an API token to be supplied with the request.

SignLocator should return an unsigned locator if no API token was
supplied.

Refs #2328

Reset enforce_permissions between tests. (refs #2328)

Added permission flags and unit tests.

New flags:
  --enforce-permissions enables permission checking for GET requests.
  --permission-ttl sets the expiration time on signed locators returned
    by PUT.
  --data-manager-token defines a privileged token for the Data Manager
    to issue DELETE and "GET /index" requests.

PUT now responds with a signed locator if a permission key has been
set.

Unit test TestGetHandler tests the GetBlockHandler both when permission
checking is off, and tests signed, unsigned and expired requests when
permission checking is enabled.

Refs #2328

Check GET permissions in the HTTP handler.

Move the check for the permission signature to the HTTP handler, so the
back end can still call GetBlock without having to move permissions all
the way down the stack. Refs #2328

Add --permissions-key flag.

The --permissions-key flag initializes the PermissionSecret to the
string of bytes in its argument. (refs #2328)

Merge branch '2328-keep-permission-hints'

Resolve code review (closes #2328)

Fix doc comments and argument names for the expiry timestamp arguments
for SignLocator and makePermSignature.

Do not try to record object_owner_uuid during earlier migrations.

Fix crashing "grant access to my own object" permission check.

Incorporating code review. (refs #2328)

Merge branch '2223-repo-owner-admin-perms'

closes #2223

Merge branch 'query-select-distinct'

Restored support for old-style 'order' strings and added test.  Clarified
documentation for 'distinct' as to the default behavior.

Fixed botched 'distinct' parameter, now is a boolean instead of taking a
column.  New tests.  Also changed syntax of 'order' to take a JSON array for
consistency with 'filters' and 'select'.

Update docs. (refs #2328)

Added permission helper functions.

GeneratePerms returns a string representing the signed permission hint
for the blob identified by blob_hash, api_token and timestamp.

SignLocator takes a blob_locator, an api_token and a timestamp, and
returns a signed locator string.

VerifySignature returns true if the signature on the signed_locator can
be verified using the given api_token.

Refs #2328.

Take into account owner_uuid and is_admin when exporting repository permissions.

Fix for interaction between 'select' and 'order' (SQL requires that order
fields show up in select when doing select distinct; readable_by does 'select distinct' by default to avoid duplicate rows).

Merge remote-tracking branch 'origin/master' into 2035-arv-mount-tags-folders

Conflicts:
services/api/app/controllers/application_controller.rb

Added 'select' and 'distinct' parameters to discovery document.  Improved
select parameter to parse strings as json.

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Another go at migration, uses batched loading and transactions, should have
improved performance.

Merge branch '2328-signatures-for-integration-testing'

refs #2328

Add test cases that produce predictable signatures with fixed expiry times.

Put back missing parentheses.

Changed Log.all.each to Log.find_each because Log.all loads all records (!) and
Log.find_each loads records in batches.  Hopefully this will enable migration
to run without being killed.

Fixed middleware customization so that it doesn't assume the presence or
location of ActionDispatch::Static.

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Merge branch 'origin-2608-websocket-event-bus-alt2'

Conflicts:
services/api/app/models/arvados_model.rb
services/api/test/test_helper.rb

Merge branch '2620-keep-serialize-io' (closes #2620)

Replaced KeepVolumes with a VolumeManager interface.

A VolumeManager interface may be used to set policy for writing to a set
of Keep volumes. The sole implementation at present is RRVolumeManager,
which implements simple round-robin scheduling; other implementations
could include a manager which selects the least-loaded disk first, the
fastest one, the one with the fewest pending writes, etc. etc.

Refs #2620

Merge branch '1904-api-reader-tokens'

Closes #2702, #2707.

api: Accept JSON-formatted reader token array.

api: Introduce reader_tokens for extra access.

reader_tokens are API tokens whose read permissions will be added to
the primary API token's.  For actions that only read resources, like
:index and :show, you can now omit the API token as long as you
provide at least one reader_token.

This allows users to get access to one-off resources without
interrupting their primary session.  For example, Workbench will use
it to access Collections shared via secret link.

api: More consistency in test helper methods.

I keep accidentally rewriting the methods in ArvadosTestHelper, so I'm
putting them in one module loaded for all tests so I can use them
consistently.

Merge remote-tracking branch 'origin/master' into origin-2608-websocket-event-bus-alt2

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/app/controllers/arvados/v1/schema_controller.rb
services/api/db/schema.rb

Moved message handling out to a separate method for clarity in eventbus.
Fixing name mismatch /websockets => /websocket in configuration
Added guards to various tests to ensure no more messages are processed after
the test is supposed to be done.

Short-circuts #readable_by when the user is admin.

Unsubscribe message now takes filter definition instead of filter_id, reducing
the state both the client and server have to maintain in order to support
unsubscribing.  Added code comments and updated tests.

Added code comments.

Now supports both websocket integrated (ARVADOS_WEBSOCKETS defined) and
websocket-only (ARVADOS_WEBSOCKETS=ws-only) server modes.  Added comment to
application.yml.example about setting websocket_address when running in
websocket-only mode.

Fix route name in nodes.create, add basic functional test.

Adding more code documentation.

api: Make JSON the default response format.

Rails assumes that the request should be sent in HTML unless a format
parameter or the Accept header expressly overrides that.  This change
makes JSON the default unless the request specified it would like
HTML.

Added support for :distinct to application controller.  User can now specify a
column and only get back rows with distinct values of that column.

Merge branch '0000-ruby-client-config'

Added ability to select which fields to return, instead of always returning all fields.

Incorporating code review comments (refs #2620)

* use filepath.Join to build file paths instead of fmt.Sprintf
* use ioutil.ReadAll to ensure that we read the whole file

Merge branch '1969-persistent-switch'

closes #1969

Replace radio button group with a single click-to-toggle button.

Merge branch 'master' into 1969-persistent-switch

Fix error reporting, catch "=foo" in config file, add dev doc.

Merge branch '1904-object-scopes'

Closes #2642, #2662, #2682.

api: Support filters in API client auths index.

Per comments on Refs #1904.  filters is generally the preferred way to
do searching now.  I maintained existing limits on what can be
searched with this method.

api: Support scope searching in API token index.

api: Migrate VM auth scopes to new system.

VirtualMachinesController was the only one doing anything special with
API token scopes before we provided the more general-purpose system.
This commit removes its specialized code, and provides a database
migration to convert those specialized scopes to the general-purpose
schema.

api: Introduce path-based API token scopes.

Refs #1904, #2662 for background discussion.

api: Test VM login scopes.

The virtual machine controller is the only one doing anything
interesting with API token scopes right now.  I'm writing this test
for that functionality to make sure it stays effective through
refactoring.

api: Shorten name of authorized_keys index.

I had trouble running the new TimestampsNotNull migration, because I
ran into the index name limit described in the migration comments.
Running this migration first worked around the problem for me, and I
hope it saves others from tripping over it too.

Merge branch 'master' into 2620-keep-serialize-io

Corrected name for volume_test.go.

Reorganized Volume code for easier comprehension.

Refs #2620

workbench: Add pipeline instance tag render test.

Sasha just tickled this, so we want to prevent future recurrences.

Make sure an IOHandler is running when -serialize is on.

Use MakeUnixVolume to create new UnixVolumes, to ensure that an
IOHandler is started whenever necessary. (refs #2620)

Fix crash when tags exist for items offered in selection widget.

Cleaned up unit tests. (refs #2620)

Added a MockVolume implementation to use in unit tests for the
Keep front-end handlers.

Simplified IsValidLocator and keep_test.go:setup code.

Cleaned up unit tests. (refs #2620)

Added a MockVolume implementation to use in unit tests for the
Keep front-end handlers.

Simplified IsValidLocator and keep_test.go:setup code.

Merge branch 'master' into 1969-persistent-switch

Increase contrast between active/inactive sides of toggle switch.

Add tests for persistent/cache switch.

Merge branch 'master' into origin-2608-websocket-event-bus-alt2

Bugfix.  Objects returned by owned_items are now sorted by uuid in order to get
a stable sort order when paging with limit and offset.

Resolving application_controller.rb merge conflicts, tests pass.

Merge branch 'master' into 1969-persistent-switch

Conflicts:
services/api/app/controllers/application_controller.rb

Merge branch '2505-update-docs'

refs #2505

Conflicts:
doc/api/methods/groups.html.textile.liquid
doc/api/methods/users.html.textile.liquid
doc/api/schema/Group.html.textile.liquid

Add UUIDs in TR tags so automated tests can find them.

Merge remote-tracking branch 'origin/master' into origin-2608-websocket-event-bus-alt2

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/db/schema.rb
services/api/test/test_helper.rb

Added tests, especially for error handling behavior.  Fixed bugs found by tests.

Merge branch '2640-folder-api'

refs #2640

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/config/routes.rb

Remove "Admin Guide" link from left nav.

Untabify.

Add persistent/cache toggle to collections table on dashboard.

Remove unused tutorial_group and tutorial_links queries.

Fix s/about/~/ substitution on dashboard.

Add persistent/cache toggle to collections#show page.

Move persistent/cache toggle into a partial.

Added -serialize flag.

Added IORequest and IOResponse types for communicating I/O
requests over channels with a goroutine.

New IOHandler method on UnixVolume. IOHandler receives requests on a
command channel, handles them, and delivers responses. Whenever a
UnixVolume is created with a non-nil queue, an IOHandler must be started
to handle its requests.

UnixVolume methods Get and Put now handle external I/O requests.  These
methods serialize I/O requests if serialization is enabled for that
volume; otherwise they call Read and Write directly.

New unit tests: TestGetSerialized and TestPutSerialized.

Refs #2620.

Add persistent/cache switch to collections index page.

Fixing indentation. Closes #2688

Merge branch '2612-workbench-displays-user-storage'
closes #2612