Merge branch 'master' into 2525-java-sdk

Merge branch '2223-repo-owner-admin-perms'

closes #2223

Merge branch 'query-select-distinct'

Restored support for old-style 'order' strings and added test.  Clarified
documentation for 'distinct' as to the default behavior.

Fixed botched 'distinct' parameter, now is a boolean instead of taking a
column.  New tests.  Also changed syntax of 'order' to take a JSON array for
consistency with 'filters' and 'select'.

Take into account owner_uuid and is_admin when exporting repository permissions.

Fix for interaction between 'select' and 'order' (SQL requires that order
fields show up in select when doing select distinct; readable_by does 'select distinct' by default to avoid duplicate rows).

Merge remote-tracking branch 'origin/master' into 2035-arv-mount-tags-folders

Conflicts:
services/api/app/controllers/application_controller.rb

Added 'select' and 'distinct' parameters to discovery document.  Improved
select parameter to parse strings as json.

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Another go at migration, uses batched loading and transactions, should have
improved performance.

Merge branch '2328-signatures-for-integration-testing'

refs #2328

Add test cases that produce predictable signatures with fixed expiry times.

Put back missing parentheses.

Changed Log.all.each to Log.find_each because Log.all loads all records (!) and
Log.find_each loads records in batches.  Hopefully this will enable migration
to run without being killed.

Fixed middleware customization so that it doesn't assume the presence or
location of ActionDispatch::Static.

2525: add apiVersion to constructor args

Merge branch 'master' into 2525-java-sdk

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Merge branch 'origin-2608-websocket-event-bus-alt2'

Conflicts:
services/api/app/models/arvados_model.rb
services/api/test/test_helper.rb

Merge branch '2620-keep-serialize-io' (closes #2620)

Replaced KeepVolumes with a VolumeManager interface.

A VolumeManager interface may be used to set policy for writing to a set
of Keep volumes. The sole implementation at present is RRVolumeManager,
which implements simple round-robin scheduling; other implementations
could include a manager which selects the least-loaded disk first, the
fastest one, the one with the fewest pending writes, etc. etc.

Refs #2620

Merge branch '1904-api-reader-tokens'

Closes #2702, #2707.

api: Accept JSON-formatted reader token array.

api: Introduce reader_tokens for extra access.

reader_tokens are API tokens whose read permissions will be added to
the primary API token's.  For actions that only read resources, like
:index and :show, you can now omit the API token as long as you
provide at least one reader_token.

This allows users to get access to one-off resources without
interrupting their primary session.  For example, Workbench will use
it to access Collections shared via secret link.

api: More consistency in test helper methods.

I keep accidentally rewriting the methods in ArvadosTestHelper, so I'm
putting them in one module loaded for all tests so I can use them
consistently.

Merge remote-tracking branch 'origin/master' into origin-2608-websocket-event-bus-alt2

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/app/controllers/arvados/v1/schema_controller.rb
services/api/db/schema.rb

Moved message handling out to a separate method for clarity in eventbus.
Fixing name mismatch /websockets => /websocket in configuration
Added guards to various tests to ensure no more messages are processed after
the test is supposed to be done.

Short-circuts #readable_by when the user is admin.

Unsubscribe message now takes filter definition instead of filter_id, reducing
the state both the client and server have to maintain in order to support
unsubscribing.  Added code comments and updated tests.

Added code comments.

Now supports both websocket integrated (ARVADOS_WEBSOCKETS defined) and
websocket-only (ARVADOS_WEBSOCKETS=ws-only) server modes.  Added comment to
application.yml.example about setting websocket_address when running in
websocket-only mode.

525: Update the .classpath to reflect the latest trimmed down version of pom.xml

2525: Java SDK does not need com.google.oauth-client library

Merge branch 'master' into 2525-java-sdk

2525: when using main method, print output to console.

Fix route name in nodes.create, add basic functional test.

2525: README file to serve as getting started guide.

Adding more code documentation.

2525: Minor updates to log4j configuration of log line format.

api: Make JSON the default response format.

Rails assumes that the request should be sent in HTML unless a format
parameter or the Accept header expressly overrides that.  This change
makes JSON the default unless the request specified it would like
HTML.

Added support for :distinct to application controller.  User can now specify a
column and only get back rows with distinct values of that column.

Merge branch '0000-ruby-client-config'

2525: Add ArvadosSDKJavaUser.java to serve as an example implementation of SDK usage example.

Added ability to select which fields to return, instead of always returning all fields.

Incorporating code review comments (refs #2620)

* use filepath.Join to build file paths instead of fmt.Sprintf
* use ioutil.ReadAll to ensure that we read the whole file

2525: What was that typo!!

Merge branch '1969-persistent-switch'

closes #1969

2525: Use log4j for logging from java SDK

Replace radio button group with a single click-to-toggle button.

Merge branch 'master' into 1969-persistent-switch

Fix error reporting, catch "=foo" in config file, add dev doc.

2525: Add pipeline template create testing. Use maven resources for input files.

2525: Address multithreading concerns in the sdk.

2525: Add sdk/java/target to gitignore list

2525: Cleanup and additional tests.

2525 - Arvados Java SDK. Eclipse project file. Since we are using maven, eclipse users may find it hard to setup eclipse project without this file.

2525 - Arvados Java SDK. API discovery and call methods working. Need logging, further cleanup, and more testing.

Merge branch '1904-object-scopes'

Closes #2642, #2662, #2682.

api: Support filters in API client auths index.

Per comments on Refs #1904.  filters is generally the preferred way to
do searching now.  I maintained existing limits on what can be
searched with this method.

api: Support scope searching in API token index.

api: Migrate VM auth scopes to new system.

VirtualMachinesController was the only one doing anything special with
API token scopes before we provided the more general-purpose system.
This commit removes its specialized code, and provides a database
migration to convert those specialized scopes to the general-purpose
schema.

api: Introduce path-based API token scopes.

Refs #1904, #2662 for background discussion.

api: Test VM login scopes.

The virtual machine controller is the only one doing anything
interesting with API token scopes right now.  I'm writing this test
for that functionality to make sure it stays effective through
refactoring.

api: Shorten name of authorized_keys index.

I had trouble running the new TimestampsNotNull migration, because I
ran into the index name limit described in the migration comments.
Running this migration first worked around the problem for me, and I
hope it saves others from tripping over it too.

Merge branch 'master' into 2620-keep-serialize-io

Corrected name for volume_test.go.

Reorganized Volume code for easier comprehension.

Refs #2620

workbench: Add pipeline instance tag render test.

Sasha just tickled this, so we want to prevent future recurrences.

Make sure an IOHandler is running when -serialize is on.

Use MakeUnixVolume to create new UnixVolumes, to ensure that an
IOHandler is started whenever necessary. (refs #2620)

Fix crash when tags exist for items offered in selection widget.

Cleaned up unit tests. (refs #2620)

Added a MockVolume implementation to use in unit tests for the
Keep front-end handlers.

Simplified IsValidLocator and keep_test.go:setup code.

Cleaned up unit tests. (refs #2620)

Added a MockVolume implementation to use in unit tests for the
Keep front-end handlers.

Simplified IsValidLocator and keep_test.go:setup code.

Merge branch 'master' into 1969-persistent-switch

Increase contrast between active/inactive sides of toggle switch.

Add tests for persistent/cache switch.

Merge branch 'master' into origin-2608-websocket-event-bus-alt2

Bugfix.  Objects returned by owned_items are now sorted by uuid in order to get
a stable sort order when paging with limit and offset.

Resolving application_controller.rb merge conflicts, tests pass.

Merge branch 'master' into 1969-persistent-switch

Conflicts:
services/api/app/controllers/application_controller.rb

Merge branch '2505-update-docs'

refs #2505

Conflicts:
doc/api/methods/groups.html.textile.liquid
doc/api/methods/users.html.textile.liquid
doc/api/schema/Group.html.textile.liquid

Add UUIDs in TR tags so automated tests can find them.

Merge remote-tracking branch 'origin/master' into origin-2608-websocket-event-bus-alt2

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/db/schema.rb
services/api/test/test_helper.rb

Added tests, especially for error handling behavior.  Fixed bugs found by tests.

Merge branch '2640-folder-api'

refs #2640

Conflicts:
services/api/app/controllers/application_controller.rb
services/api/config/routes.rb

Remove "Admin Guide" link from left nav.

Untabify.

Add persistent/cache toggle to collections table on dashboard.

Remove unused tutorial_group and tutorial_links queries.

Fix s/about/~/ substitution on dashboard.

Add persistent/cache toggle to collections#show page.

Move persistent/cache toggle into a partial.

Added -serialize flag.

Added IORequest and IOResponse types for communicating I/O
requests over channels with a goroutine.

New IOHandler method on UnixVolume. IOHandler receives requests on a
command channel, handles them, and delivers responses. Whenever a
UnixVolume is created with a non-nil queue, an IOHandler must be started
to handle its requests.

UnixVolume methods Get and Put now handle external I/O requests.  These
methods serialize I/O requests if serialization is enabled for that
volume; otherwise they call Read and Write directly.

New unit tests: TestGetSerialized and TestPutSerialized.

Refs #2620.

Add persistent/cache switch to collections index page.

Fixing indentation. Closes #2688

Merge branch '2612-workbench-displays-user-storage'
closes #2612

Fixed indentation.

Merge branch 'master' of git.curoverse.com:arvados into 2612-workbench-displays-user-storage

Added link to storage page, replaced tabs with spaces.

Wrapped channel callback in exception handler.