Merge branch '1646-arv-put'

Point "arv keep get/put" to arv-get/put and unsupport "arv get/put"
style.

refs #1646

Add "Install client libraries" page to doc/install/.

refs #1646

Support invoking arv-get and arv-put via "arv get" and "arv put".

refs #1646

Add python client library package: arv-get, arv-put, arvados module

refs #1646

Fix port flags for "run.sh start".

Rename doc page to match title.

Add "Create standard objects" page in install docs.

Support the use of groups to grant repository permissions.

Now, if user A can_read group B, and group B can_read repository C,
then /arvados/v1/repositories/get_all_permissions will indicate that
user A has gitolite_permissions "R" on repository C.

Clean up arvados_bwa module and add docstrings.

closes #1638

Merge branch 'master' into 1646-arv-put

Conflicts:
sdk/python/arvados.py

Merge branch '1587-fix-test-suites-in-devsandbox'

Add arv-get -f (force overwrite) and --skip-existing flags.

If neither is specified, and local destination files exist, refuse to
write anything.

refs #1646

Support "arv-get {locator}/filename path/to/localdir" invocation:
write file data to path/to/localdir/file

refs #1646

Fail gracefully when fetching a raw block that does not exist

Fail more gracefully on some common error conditions

Use our own exception classes, instead of just Exception

Fix crash when destination directory supplied without trailing slash,
and crash when asked to copy a directory to a file.

refs #1646

Use body={...} instead of object_type=json.dumps({...})

Add example scripts and libraries for bwa, samtools, picard, gatk2

closes #1598

Adding 'run.sh test api' to run API server Rails tests.

Ignore config/environments/test.rb and production.rb

Ignore tmp directory created by cli tests

Added 'test' command to run.sh.

run.sh: bug fixes

run.sh: add "stop" command, also remove old containers before trying to start them

Remove spurious "if".

Use some helpful HTTP status codes, not just generic 422.

* 403 for PermissionDeniedError
* 401 for UnauthorizedError

Check permission before deleting objects

Reorganized code to support 'start' command.

run.sh prints instructions/settings for running a test suite.

Add support for ARVADOS_API_PORT.

Superuser script must be run as ./script/create_superuser_token.rb.

API_SUPERUSER_TOKEN must be named API_SUPERUSER_SECRET to be autogenerated.

run.sh bug fixes.

Mount separate volumes for each keep container launched.

Allow overriding of default ports for API, doc, SSO, and workbench
servers when started with run.sh

Fix failing test by parsing timestamp correctly.

Fix PermissionDeniedError when a non-admin user is the first to log in
from a given ApiClient.

Changes to permit keep_server containers to authenticate to api_server.

* Generate an API "superuser token" and deliver this token to the
  Keep server via warehouse.conf.
* Start the keep_server containers with a link to api_server.
* Add config.yml to the dependency chain for the base image (so it will
  be rebuilt if PUBLIC_KEY_PATH is changed).

Add arvados.getjobparam() convenience function.

Accept empty string as root stream name "." in
arvados.CollectionWriter, to mirror os.path.split()

Accept data from a generator in arvados.CollectionWriter.write()

Sort filenames when writing multi-level streams in
arvados.CollectionWriter.

Add arvados.util.clear_tmpdir() function.

Pass through stderr in real time by default in util.run_command()

Allow caller to override close_fds in util.run_command()

Use collection hash instead of entire manifest as symlink target
in arvados.collection_extract(), even when the manifest was passed as
a function argument.

Only require keep volume when a keep container is being started.

Improve compatibility with whput.

* Default to --raw when operating on a single file or stdin
* Accept --use-filename for --filename
* Accept --in-manifest for --manifest
* In --raw mode use comma instead of space between locators

refs #1646

Fix sha1 test, dry up "remove ./tmp/foo" preparations

refs #1646

Command line usability improvements.

* Read from stdin if no path arguments are given.
* Add --stream, --manifest, --raw flags (equivalent to --as-*).

refs #1646

Make the sample "Add authorized key" button non-clickable.

If it behaves like a real button in the browser, users are inclined to
think it *is* a real button, rather than just an image of what to look
for.

Fixes #1664

Add delete button to generic Workbench index page.

Fixes #1665

Remove Rails default scaffold CSS.

Add arv-get, a whget replacement built on the Python SDK.

refs #1646

Add arv-put --as-raw option.

refs #1646

Add CollectionWriter.data_locators()

Add --as-stream test.

refs #1646

Add arv-put, a whput replacement built on the Python SDK.

refs #1646

Show how crunch job tasks get their runtime parameters. refs #1513

Clear TASK_WORK before starting a task.

Use new-style Python classes (subclass object), so super() can work

Add --api, --sso, --workbench, --doc, --keep options to run.sh.
Default is to run all servers.

Refactored and updated run.sh:

* support ENABLE_SSH environment variable
* start 2 keep containers (backed by the same filesystem for now)

build.sh has been superseded by Makefile.

Rename docserver to doc for consistency.

Add an SSH server in each docker container.

It will not be started by default, but can be enabled by setting an
environment (ENABLE_SSH) when starting a container, and is useful for
debugging.

Do not require filesystem_uuid in first keep_disks/ping request.

Record it if provided, but do not try to do any sanity-checking with
it.

Update crunch_refresh_trigger config setting name in tests.

Add job.cancel API.

Same as job.update(job={"cancelled_at":"2112-12-21 21:12"}) but more
convenient.

Closes #1654

Fix config setting name.

Update comments in config/environment/ files.

Check refresh trigger in crunch-job instead of crunch-dispatch.

Crunch-job now checks the timestamp on the trigger file, rather than
waiting for crunch-dispatch notice that the trigger file appeared and
send HUP to its child processes. This way we don't depend on srun
doing what we want with signals.

See f99ffd6844ae9b88cfd17c8fe6e9fcc85a55d79c

Avoid starting new jobs when TERM signal has been received.

Ruby 2.0.0-p247 -> p353 (now installed as stable).

Avoid infinite poll loop triggered by (:running and !(:finished or :cancelled))

Fix scalar gmtime() usage.

Fix missing "my" scope.

Allow users to cancel a running crunch job by updating cancelled_at
(to something other than nil).

Also:
* Add test fixtures for jobs
* Take care to update the Job object piecemeal during crunch-job
  (avoid overwriting cancelled_at)

Fix base class of ApiClient model so as_api_response works

Fix up keep_disks/ping and add tests. refs #1581

Only apply the auto_admin_user configuration rule when no admin users
exist yet, but exclude the default root system user from that count.
Just in case.

Only apply the auto_admin_user configuration rule when no admin users
exist yet. Just in case.

add script/create_superuser_token.rb

Merge branch 'master' of git.clinicalfuture.com:arvados

* Docker API container: add support for the auto_admin_user feature (API server).

This closes #1655

* Default WORKBENCH_INSECURE_HTTPS in config.yml.example to true,
  because we use self-signed certificates in the development environment.

Converted README to real markdown.

Fix dependencies.

Improve Makefile rules.
Start Keep container from run.sh.

Add a config setting: auto_admin_user

This setting is optional, and can be configured to the The e-mail
address of the user you would like to become marked as an admin user on
their first login. This is useful during installation.

In the default configuration, authentication happens through the Arvados
SSO server, which uses openid against Google's servers. In that case
this e-mail address should be an address associated with a Google
account.

Converted README to real markdown.

Fix dependencies.

Improve Makefile rules.
Start Keep container from run.sh.

Make workbench work with the API server.

Make sure the API rails app tmp directory is writable by www-data

* Mention SSO server to documentation in README

* Fix up SSO and API server configuration to allow API and SSO server to communicate

Add threaded Keep.put()

Fixed Makefile dependencies, added docker_build script to work around
https://github.com/dotcloud/docker/issues/1875.

Optimize docserver/Dockerfile