document passenger streaming setup
[arvados.git] / doc / install / install-crunch-dispatch.textile
index 3e58970d6a6b83373822e31ac25de035a70e68d4..bdc63d871bc6344816b3b5a9a4878f6c2d1240ab 100644 (file)
@@ -5,8 +5,6 @@ title: Install the Crunch dispatcher
 navorder: 3
 ---
 
-{% include alert-stub.html %}
-
 h1. Crunch setup
 
 h4. Perl SDK dependencies
@@ -15,9 +13,17 @@ h4. Perl SDK dependencies
 
 h4. Python SDK dependencies
 
+On controller and all compute nodes:
+
 * @apt-get install python-pip@
 * @pip install --upgrade google-api-python-client@
 
+h4. Likely crunch job dependencies
+
+On compute nodes:
+
+* @pip install --upgrade pyvcf@
+
 h4. Repositories
 
 Crunch scripts must be in git repositories in @/var/cache/git/*/.git@ (or whatever is configured in @services/api/config/environments/production.rb@).
@@ -32,14 +38,14 @@ set -e
 while sleep 60
 do
   cd /path/to/arvados/services/api
-  setuidgid www-data env RAILS_ENV=production bundle exec ./script/import_commits.rb
+  setuidgid www-data env RAILS_ENV=production /usr/local/rvm/bin/rvm 2.0.0 do bundle exec ./script/import_commits.rb 2>&1
 done
 </pre>
 
 Once you have imported some commits, you should be able to create a new job:
 
 <pre>
-read newjob <<EOF; arv job create --job "$newjob"
+read -rd "\000" newjob <<EOF; arv job create --job "$newjob"
 {"script_parameters":{"input":"f815ec01d5d2f11cb12874ab2ed50daa"},
  "script_version":"master",
  "script":"hash"}
@@ -71,7 +77,6 @@ export ARVADOS_API_HOST=xyzzy.arvadosapi.com
 ## Only if your SSL cert is unverifiable:
 # export ARVADOS_API_HOST_INSECURE=yes
 
-
 cd /path/to/arvados/services/api
-RAILS_ENV=production bundle exec ./script/crunch-dispatch.rb
+RAILS_ENV=production /usr/local/rvm/bin/rvm 2.0.0 do bundle exec ./script/crunch-dispatch.rb 2>&1
 </pre>