Add --as-stream test.

refs #1646

Add arv-put, a whput replacement built on the Python SDK.

refs #1646

Show how crunch job tasks get their runtime parameters. refs #1513

Clear TASK_WORK before starting a task.

Use new-style Python classes (subclass object), so super() can work

Add --api, --sso, --workbench, --doc, --keep options to run.sh.
Default is to run all servers.

Refactored and updated run.sh:

* support ENABLE_SSH environment variable
* start 2 keep containers (backed by the same filesystem for now)

build.sh has been superseded by Makefile.

Rename docserver to doc for consistency.

Add an SSH server in each docker container.

It will not be started by default, but can be enabled by setting an
environment (ENABLE_SSH) when starting a container, and is useful for
debugging.

Do not require filesystem_uuid in first keep_disks/ping request.

Record it if provided, but do not try to do any sanity-checking with
it.

Update crunch_refresh_trigger config setting name in tests.

Add job.cancel API.

Same as job.update(job={"cancelled_at":"2112-12-21 21:12"}) but more
convenient.

Closes #1654

Fix config setting name.

Update comments in config/environment/ files.

Check refresh trigger in crunch-job instead of crunch-dispatch.

Crunch-job now checks the timestamp on the trigger file, rather than
waiting for crunch-dispatch notice that the trigger file appeared and
send HUP to its child processes. This way we don't depend on srun
doing what we want with signals.

See f99ffd6844ae9b88cfd17c8fe6e9fcc85a55d79c

Avoid starting new jobs when TERM signal has been received.

Ruby 2.0.0-p247 -> p353 (now installed as stable).

Avoid infinite poll loop triggered by (:running and !(:finished or :cancelled))

Fix scalar gmtime() usage.

Fix missing "my" scope.

Allow users to cancel a running crunch job by updating cancelled_at
(to something other than nil).

Also:
* Add test fixtures for jobs
* Take care to update the Job object piecemeal during crunch-job
  (avoid overwriting cancelled_at)

Fix base class of ApiClient model so as_api_response works

Fix up keep_disks/ping and add tests. refs #1581

Only apply the auto_admin_user configuration rule when no admin users
exist yet, but exclude the default root system user from that count.
Just in case.

Only apply the auto_admin_user configuration rule when no admin users
exist yet. Just in case.

add script/create_superuser_token.rb

Merge branch 'master' of git.clinicalfuture.com:arvados

* Docker API container: add support for the auto_admin_user feature (API server).

This closes #1655

* Default WORKBENCH_INSECURE_HTTPS in config.yml.example to true,
  because we use self-signed certificates in the development environment.

Converted README to real markdown.

Fix dependencies.

Improve Makefile rules.
Start Keep container from run.sh.

Add a config setting: auto_admin_user

This setting is optional, and can be configured to the The e-mail
address of the user you would like to become marked as an admin user on
their first login. This is useful during installation.

In the default configuration, authentication happens through the Arvados
SSO server, which uses openid against Google's servers. In that case
this e-mail address should be an address associated with a Google
account.

Converted README to real markdown.

Fix dependencies.

Improve Makefile rules.
Start Keep container from run.sh.

Make workbench work with the API server.

Make sure the API rails app tmp directory is writable by www-data

* Mention SSO server to documentation in README

* Fix up SSO and API server configuration to allow API and SSO server to communicate

Add threaded Keep.put()

Fixed Makefile dependencies, added docker_build script to work around
https://github.com/dotcloud/docker/issues/1875.

Optimize docserver/Dockerfile

* Make arvados/passenger container
* Build time optimization of the various containers

Fix encoding issue so Python clients can store binary data in Keep

http://stackoverflow.com/questions/8705962/python-http-put-with-unencoded-binary-data

Warehouse docker image no longer requires local checked-out source.

Refuse to stream responses unless request Accept header has text/plain
or */*. Closes #1604

Send "Accept: application/json" header with API requests. refs #1604

Merge branch 'master' of git.clinicalfuture.com:arvados

Updated Makefile for more accurate dependency management.

Move api/job-tasks to api/crunch-scripts and add some explanation

Fix navorder of API resource pages

Merge branch 'master' of git.clinicalfuture.com:arvados

Conflicts:
docker/base/Dockerfile

Added Makefile to track dependencies for Docker images.

Update the dockserver Dockerfile to take advantage of the doc/Gemfile,
as well as the fact that locale generation and the DEBIAN_FRONTEND
environment variable are now set in the base container.

Merge branch 'master' of git.clinicalfuture.com:arvados

Move UTF-8 locale generation and the DEBIAN_FRONTEND environment setting
into the base image.

Fix job script attribute (not script_name), and update script_version
notes to match current code

Do not re-attempt failed job tasks, unless there is some reason to
believe the failure is temporary (i.e., exit value 111 or slurm
failure). closes #1619

Update development-mode crunch-job notes

add doc/Gemfile

Document user#event_stream. closes #1605

* OMNIAUTH_APP_SECRET is no longer used
* We include an omniauth-to-openid gateway container now ('sso')

Add threading locks in Keep client

remove unused class DataReader

Ensure script_version matches before satisfying pipeline component with a job.

Add /users/:uuid/event_stream action to subscribe to per-user channel

Send job log messages to owner_uuid redis channel

Read pipeline template from local file if --template arg is not a uuid

un-comment ADD line for api.tar

Let API server use SSO container.

This doesn't work quite yet - need to sort out inter-container
communication. But it's very close now.

Fixes for SSO rails app.

Generated files shouldn't have been committed.

Merge branch 'master' of git.clinicalfuture.com:arvados

Conflicts:
docker/build.sh
docker/config.yml.example

Merge branch '1579-keep-server-in-docker' of git.clinicalfuture.com:arvados into 1579-keep-server-in-docker

Install warehouse-apps into arvados/warehouse directly from github source.

Add prerequisites for Keep server described in
https://github.com/clinicalfuture/warehouse-apps/blob/master/libwarehouse-perl/server/INSTALL

Add supervisor to start keepd when container is launched.
Update README with deploy instructions for Keep.

Build an arvados/warehouse container with locally checked out warehouse-apps
code.

The warehouse-apps repo at git://github.com/clinicalfuture/warehouse-apps.git
must be checked out at the same level as the arvados repo.

Initial checkin for building warehouse-apps.

Deploy containers with working copy of sources.

Revert anjlab-bootstrap-rails to version 2 because bootstrap-editable
is not ready for bootstrap 3 yet.

Install warehouse-apps into arvados/warehouse directly from github source.

Move @redis.exists and .getrange outside .subscribe block. Otherwise
they fail silently and the client does not get any of the buffered log
messages.

Add SSO docker container

Bring the name of the workbench secret token config variable in line.

Avoid Rails cache when polling database for latest node/job state

Merge branch 'master' of git.clinicalfuture.com:arvados

Also auto-generate _SECRET config variables when they are unset, like we
do for _PW config variables.

Add Admin/Nodes page

Include privileged attributes in node#ping response

add tests for node#ping, fix response when ping_secret is invalid

Fix crash building api response when user is nil

Merge branch '1600-native-keep-client'

Obey ARVADOS_API_HOST_INSECURE and use the debian trusted CA list if
available (instead of skipping certificate validation because Python's
CA list does not include the one we need).

Allow all active users to retrieve list of keep nodes.
refs #1599

turn on logging if ARVADOS_DEBUG environment variable exists

Use hash to determine probe order

Add test case for reading and writing small Keep blocks

Use httplib2 to connect to Keep instead of executing whget/whput

Obey ARVADOS_API_HOST_INSECURE and use the debian trusted CA list if
available (instead of skipping certificate validation because Python's
CA list does not include the one we need).