doc/install/install-crunch-dispatch.textile

   1 ---
   2 layout: default
   3 navsection: installguide
   4 title: Install the Crunch dispatcher
   5 navorder: 3
   6 ---
   7
   8 h1. Crunch setup
   9
  10 The dispatcher normally runs on the same host/VM as the API server.
  11
  12 h4. Perl SDK dependencies
  13
  14 * @apt-get install libjson-perl libwww-perl libio-socket-ssl-perl libipc-system-simple-perl@
  15
  16 h4. Python SDK dependencies
  17
  18 On controller and all compute nodes:
  19
  20 * @apt-get install python-pip@
  21 * @pip install --upgrade google-api-python-client@
  22
  23 h4. Likely crunch job dependencies
  24
  25 On compute nodes:
  26
  27 * @pip install --upgrade pyvcf@
  28
  29 h4. Redis
  30
  31 * @apt-get install redis-server@
  32
  33 h4. Repositories
  34
  35 Crunch scripts must be in git repositories in @/var/cache/git/*/.git@ (or whatever is configured in @services/api/config/environments/production.rb@).
  36
  37 h4. Importing commits
  38
  39 @services/api/script/import_commits.rb production@ must run periodically. Example @/var/service/arvados_import_commits/run@ script for daemontools or runit:
  40
  41 <pre>
  42 #!/bin/sh
  43 set -e
  44 while sleep 60
  45 do
  46   cd /path/to/arvados/services/api
  47   setuidgid www-data env RAILS_ENV=production /usr/local/rvm/bin/rvm 2.0.0 do bundle exec ./script/import_commits.rb 2>&1
  48 done
  49 </pre>
  50
  51 Once you have imported some commits, you should be able to create a new job:
  52
  53 <pre>
  54 read -rd "\000" newjob <<EOF; arv job create --job "$newjob"
  55 {"script_parameters":{"input":"f815ec01d5d2f11cb12874ab2ed50daa"},
  56  "script_version":"master",
  57  "script":"hash"}
  58 EOF
  59 </pre>
  60
  61 Without getting this error:
  62
  63 <pre>
  64 ArgumentError: Specified script_version does not resolve to a commit
  65 </pre>
  66
  67 h4. Running jobs
  68
  69 * @services/api/script/crunch-dispatch.rb@ must be running.
  70 * @crunch-dispatch.rb@ needs @services/crunch/crunch-job@ in its @PATH@.
  71 * @crunch-job@ needs @sdk/perl/lib@ and @warehouse-apps/libwarehouse-perl/lib@ in its @PERLLIB@
  72 * @crunch-job@ needs @ARVADOS_API_HOST@ (and, if necessary in a development environment, @ARVADOS_API_HOST_INSECURE@)
  73
  74 Example @/var/service/arvados_crunch_dispatch/run@ script:
  75
  76 <pre>
  77 #!/bin/sh
  78 set -e
  79 export PATH="$PATH":/path/to/arvados/services/crunch
  80 export PERLLIB=/path/to/arvados/sdk/perl/lib:/path/to/warehouse-apps/libwarehouse-perl/lib
  81 export ARVADOS_API_HOST=xyzzy.arvadosapi.com
  82
  83 ## Only if your SSL cert is unverifiable:
  84 # export ARVADOS_API_HOST_INSECURE=yes
  85
  86 cd /path/to/arvados/services/api
  87 RAILS_ENV=production /usr/local/rvm/bin/rvm 2.0.0 do bundle exec ./script/crunch-dispatch.rb 2>&1
  88 </pre>