Merge branch 'master' into 2525-java-sdk

2525: prompt example

2525: list resources, methods, and parameters in prompt example to improve user experience.

2525: Expand prompt example to list the available resources and methods. This can help enhance user experience.

Merge branch 'origin-2035-arv-mount-tags-folders'

Conflicts:
sdk/python/bin/arv-mount

Merge branch '2035-arv-mount-tags-folders' into origin-2035-arv-mount-tags-folders

Merge branch '2492-docker-crunch-jobs'

Closes #2492.

crunch: Install Docker images on demand.

Ward requested this to simplify the installation and testing
procedure.  This is sort of temporary scaffolding; we expect that in
the future Docker images will be stored in, and read from, Keep.

crunch-job: Support runtime Docker image.

This adds support for the allow_other mount option in arv-mount to
make the Keep mount available to the container.

docker: Build base container for Crunch jobs.

2525: refactor response printing

Merge branch '2744-update-dev-docs'

closes #2744

2525: update java sdk documentation to include ArvadosSDKJavaExampleWithPrompt

Improve tests: multiple values for "not in", check =, != results more carefully.

Merge branch 'master' into origin-2035-arv-mount-tags-folders

2525: more testing. also "=" works in place of "is_a" for a filter.

Eliminated build.sh and sed in favor of a common setup_header.py script which
call popen to get the git revision directly.  Removed spurious server_pid > 0
and added except Execption: on run_test_server.py.

2525: example param parsing

2525: example

Merge branch 'master' into 2525-java-sdk

2525: improve response printing in the examples for readability.

Merge branch 'master' of git.curoverse.com:arvados into 2638-add-cache-age-disk-usage-histogram-to-workbench

Clarify log methods page: say "log entry" instead of "log".

Document "filters" feature. Add missing "!=" and "not in" operators.

Added handler_test.go. (refs #2328)

Split out HTTP handler tests into their own file.

Refs #2328

Require enforce_permissions and API token as necessary.

Unqualified /index requests require enforce_permissions to be enabled
and an API token to be supplied with the request.

SignLocator should return an unsigned locator if no API token was
supplied.

Refs #2328

Refuse to run rake tasks without "bundle exec".

Otherwise you can accidentally load (or dump) schemas without having
the pg_power gem loaded, which will leave you with incorrect indexes
in your database (or schema.rb).

2525: Add ArvadosSDKJavaExampleWithPrompt.java to serve as an easier tool to make quick calls to API server.

Avoided printing graph if no data. Added date histogram was generated.

Added cache age histogram!

Merge branch 'master' into 2525-java-sdk

Fix crash creating new user during initial login. Add test.

Merge branch 'master' into 2525-java-sdk

2525: Address review feedback.

Fix up workbench and apiserver install docs.

Fix prompt paths.

Added printing of histogram json.

Clean up install docs

Add wait_for_ajax after using x-editable in tests.

Reset enforce_permissions between tests. (refs #2328)

Added permission flags and unit tests.

New flags:
  --enforce-permissions enables permission checking for GET requests.
  --permission-ttl sets the expiration time on signed locators returned
    by PUT.
  --data-manager-token defines a privileged token for the Data Manager
    to issue DELETE and "GET /index" requests.

PUT now responds with a signed locator if a permission key has been
set.

Unit test TestGetHandler tests the GetBlockHandler both when permission
checking is off, and tests signed, unsigned and expired requests when
permission checking is enabled.

Refs #2328

Fix Perl and Python SDK instructions on crunch install page

Merge branch 'master' into 2744-update-dev-docs

Fix dead links

Added div for histogram and style for it.

Merge branch '2733-coverage-report'

closes #2733

Merge branch 'master' into 2525-java-sdk

Synchronize repository and crunch setup instructions with current behavior.

Fix copy/paste error in gem build instructions.

Remove Gemfile.lock from repo

see http://yehudakatz.com/2010/12/16/clarifying-the-roles-of-the-gemspec-and-gemfile/

Remove stray debug puts.

Merge branch '1970-folder-view'

closes #1970

Merge branch 'master' into 1970-folder-view

Add find?() method so "assert find?(...), msg" can be used in test cases.

Replace unfailable assert() with a comment explaining what it means
for find() to raise an exception.

2525: correct indentation for pom.xml

2525: use -Dmaven.test.skip=true when packaging the SDK.

Added test for group mount.  Passes.

Improved fresh/stale handling with base class, added property fuse inode cache
invalidation.  Added common merge function for handling directory updates.
arv-mount now daemonizes by default.

Check GET permissions in the HTTP handler.

Move the check for the permission signature to the HTTP handler, so the
back end can still call GetBlock without having to move permissions all
the way down the stack. Refs #2328

Merge branch 'master' into 2525-java-sdk

2352: initial tests for arv-run-pipeline-instance

Merge branch 'master' into 2352-use-state

Adding support for groups and viewing arvados objects as files (serialized
json).  Work in progress.

Merge branch 'master' into origin-2035-arv-mount-tags-folders

Fix so that a present but empty select parameter in queries no longer yields
an error.

Added PyYAML to requirements.txt

Merge branch 'master' into origin-2035-arv-mount-tags-folders

Remove duplicate ERROR_ACTIONS constant from merge.

Ensure edited description really gets saved.

Use send(symbol) instead of send(string).

Change icon for virtual machines nav.

Remove confusing return value.

Merge branch '2640-folder-api' into 1970-folder-view

Conflicts:
apps/workbench/app/controllers/application_controller.rb
services/api/app/controllers/application_controller.rb

Add --permissions-key flag.

The --permissions-key flag initializes the PermissionSecret to the
string of bytes in its argument. (refs #2328)

Move contents action to GroupsController.

Fix broken test case.

2352: when using arv-run-pipeline-instance, set state to RunningOnClient.

Merge branch 'master' of git.curoverse.com:arvados

Documentation tweaks:
* Python SDK requires Python 2.7, make that clear up front
* Remove duplicated SDK installation instructions

Merge branch '2640-folder-api'

Merge branch 'master' into 2640-folder-api

Conflicts:
apps/workbench/app/models/arvados_api_client.rb

Raise PermissionDeniedError even more consistently

Merge branch 'master' into 2035-arv-mount-tags-folders

Refactored freshness/updating to be more generic for different virtual
directory types.  Added polling based on timeout as an alternative to
websockets.  Refactored tests a bit.

Merge branch '2640-folder-api' into 1970-folder-view

Raise PermissionDeniedError more consistently

Comment mysterious testing code.

Add test for links_for + multiple link_classes.

Added websockets support to Python SDK, with integration test.  Also built out
runner script for running test server from python.

Merge branch '1904-workbench-reader-tokens'

Refs #1904.  Closes #2663, #2736.

workbench: Reader tokens show collection files.

Fundamentally, this commit aims to support reader tokens when showing
a file from a Collection.  Because this requires changing the token
handling generally, I also took this opportunity to improve error
reporting by checking the request's validity against the API server
before we pipe out to arv-get to render the file.

As a consequence, Workbench now returns a 404 if you request a file
using a token that does not have permission to read the collection.
Maybe this is not the best result, but previously it returned a 422,
so I think this counts as an improvement.

workbench: Add initial reader tokens support.

The API server recently gained support for reader tokens, which
optionally supplement the user's permissions for read-only
operations.  This commit extends Workbench to pass on reader tokens
for general index and show operations.

workbench: Add Collections controller tests.

Working to establish a baseline of behavior before I go mucking with
this.

workbench: Remove trailing whitespace.

Merge branch 'master' into 2352-use-state

Merge branch '2328-keep-permission-hints'

Resolve code review (closes #2328)

Fix doc comments and argument names for the expiry timestamp arguments
for SignLocator and makePermSignature.

2525: Now that we have the doc page updated with Java SDK details, updated the README file to
point to the doc page instead of maintaining two copies of the same content.