Merge branch 'master' of git.clinicalfuture.com:arvados

Updated Makefile for more accurate dependency management.

Move api/job-tasks to api/crunch-scripts and add some explanation

Fix navorder of API resource pages

Merge branch 'master' of git.clinicalfuture.com:arvados

Conflicts:
docker/base/Dockerfile

Added Makefile to track dependencies for Docker images.

Update the dockserver Dockerfile to take advantage of the doc/Gemfile,
as well as the fact that locale generation and the DEBIAN_FRONTEND
environment variable are now set in the base container.

Merge branch 'master' of git.clinicalfuture.com:arvados

Move UTF-8 locale generation and the DEBIAN_FRONTEND environment setting
into the base image.

Fix job script attribute (not script_name), and update script_version
notes to match current code

Do not re-attempt failed job tasks, unless there is some reason to
believe the failure is temporary (i.e., exit value 111 or slurm
failure). closes #1619

Update development-mode crunch-job notes

add doc/Gemfile

Document user#event_stream. closes #1605

* OMNIAUTH_APP_SECRET is no longer used
* We include an omniauth-to-openid gateway container now ('sso')

Add threading locks in Keep client

remove unused class DataReader

Ensure script_version matches before satisfying pipeline component with a job.

Add /users/:uuid/event_stream action to subscribe to per-user channel

Send job log messages to owner_uuid redis channel

Read pipeline template from local file if --template arg is not a uuid

un-comment ADD line for api.tar

Let API server use SSO container.

This doesn't work quite yet - need to sort out inter-container
communication. But it's very close now.

Fixes for SSO rails app.

Generated files shouldn't have been committed.

Merge branch 'master' of git.clinicalfuture.com:arvados

Conflicts:
docker/build.sh
docker/config.yml.example

Merge branch '1579-keep-server-in-docker' of git.clinicalfuture.com:arvados into 1579-keep-server-in-docker

Install warehouse-apps into arvados/warehouse directly from github source.

Add prerequisites for Keep server described in
https://github.com/clinicalfuture/warehouse-apps/blob/master/libwarehouse-perl/server/INSTALL

Add supervisor to start keepd when container is launched.
Update README with deploy instructions for Keep.

Build an arvados/warehouse container with locally checked out warehouse-apps
code.

The warehouse-apps repo at git://github.com/clinicalfuture/warehouse-apps.git
must be checked out at the same level as the arvados repo.

Initial checkin for building warehouse-apps.

Deploy containers with working copy of sources.

Revert anjlab-bootstrap-rails to version 2 because bootstrap-editable
is not ready for bootstrap 3 yet.

Install warehouse-apps into arvados/warehouse directly from github source.

Move @redis.exists and .getrange outside .subscribe block. Otherwise
they fail silently and the client does not get any of the buffered log
messages.

Add SSO docker container

Bring the name of the workbench secret token config variable in line.

Avoid Rails cache when polling database for latest node/job state

Merge branch 'master' of git.clinicalfuture.com:arvados

Also auto-generate _SECRET config variables when they are unset, like we
do for _PW config variables.

Add Admin/Nodes page

Include privileged attributes in node#ping response

add tests for node#ping, fix response when ping_secret is invalid

Fix crash building api response when user is nil

Merge branch '1600-native-keep-client'

Obey ARVADOS_API_HOST_INSECURE and use the debian trusted CA list if
available (instead of skipping certificate validation because Python's
CA list does not include the one we need).

Allow all active users to retrieve list of keep nodes.
refs #1599

turn on logging if ARVADOS_DEBUG environment variable exists

Use hash to determine probe order

Add test case for reading and writing small Keep blocks

Use httplib2 to connect to Keep instead of executing whget/whput

Obey ARVADOS_API_HOST_INSECURE and use the debian trusted CA list if
available (instead of skipping certificate validation because Python's
CA list does not include the one we need).

Add prerequisites for Keep server described in
https://github.com/clinicalfuture/warehouse-apps/blob/master/libwarehouse-perl/server/INSTALL

Improve error handling for login operations.

Allow all active users to retrieve list of keep nodes.
refs #1599

fix error message scraping regexp

Use more current slurm environment variable name in error message scraping

fix over-compensation for attempts counter when task fails on suspect node

reduce default #attempts per job task from 9 to 2

fix loop label syntax error introduced in 7c4460b82b8abadc5144f758a9f36ce0f42893e8

Add supervisor to start keepd when container is launched.
Update README with deploy instructions for Keep.

Build an arvados/warehouse container with locally checked out warehouse-apps
code.

The warehouse-apps repo at git://github.com/clinicalfuture/warehouse-apps.git
must be checked out at the same level as the arvados repo.

Merge branch '1579-keep-server-in-docker' of git.clinicalfuture.com:arvados into 1579-keep-server-in-docker

Rebasing 1579-keep-server-in-docker from 1578-api-server-in-docker
(which has much better Docker support to work from).

add discovery document test

delete cached discovery document during boot, so doc matches running code

update discovery document generator for rails 3.2

add generatedAt field to discovery document

Deploy containers with working copy of sources.

Merge branch 'master' of git.clinicalfuture.com:arvados

Break out deploying vs. installation instructions.

Merge branch 'master' of git.clinicalfuture.com:arvados

Conflicts:
docker/workbench/Dockerfile

Add workbench server to build.sh and run.sh

docserver container updates:
* use base arvados Debian image
* simplify Dockerfile

Fix Dockerfile comments.

Add docker image with workbench server.

Merge branch 'master' of git.clinicalfuture.com:arvados

Precompile Rails assets.
Make sure mod_ssl is enabled in Apache.

Add docker image with workbench server.

Merge branch '1578-api-server-in-docker'

Set nameservers at config time.

Merge branch '1578-api-server-in-docker' of git.clinicalfuture.com:arvados into 1578-api-server-in-docker

Conflicts:
docker/config.rb

Copied Apache vhost config from qr1hi.

We want to be able to handle naked

  false

in config.rb's variable substitution.

Add sass explicitly

Style improvements -- rubocop

Allow up to 10 levels of nesting for variable substitution in config.rb

Rename config.yml to config.yml.example (easier to keep real configuration
settings out of the repo)

We don't need the pg gem in workbench.

add log_stream_href attribute to Job resource

Fix deprecation warning:

  do not use ActionController::UnknownAction

We don't use the bootstrap-rails gem, and it does not exist anymore.

Fix deprecation warning:

  do not use ActionController::UnknownAction

We don't use the bootstrap-rails gem, and it does not exist anymore.

Use supervisord to start postgres + apache2 when the api
container is launched.

Move generated files to an api/generated directory for
easier ignoring.

Start the API container with supervisor, running postgres & apache2.
Reduce commands in Dockerfiles to stay under the 42-layer limit for AUFS
  (https://github.com/dotcloud/docker/issues/1171)

Initial checkin for building warehouse-apps.

Catch AbstractController::ActionNotFound instead of deprecated
ActionController::UnknownAction

See http://guides.rubyonrails.org/3_2_release_notes.html

add crunch_worker_state to Node api response. refs #1586

fix tests and behavior for nodes#list as called by inactive user. refs #1594