doc/install/crunch2-slurm/install-test.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: installguide
   4 title: Test Slurm dispatch
   5 ...
   6 {% comment %}
   7 Copyright (C) The Arvados Authors. All rights reserved.
   8
   9 SPDX-License-Identifier: CC-BY-SA-3.0
  10 {% endcomment %}
  11
  12 {% include 'notebox_begin_warning' %}
  13 @crunch-dispatch-slurm@ is only relevant for on premises clusters that will spool jobs to Slurm. Skip this section if you use LSF or if you are installing a cloud cluster.
  14 {% include 'notebox_end' %}
  15
  16 h2. Test compute node setup
  17
  18 You should now be able to submit Slurm jobs that run in Docker containers.  On the node where you're running the dispatcher, you can test this by running:
  19
  20 <notextile>
  21 <pre><code>~$ <span class="userinput">sudo -u <b>crunch</b> srun -N1 docker run busybox echo OK
  22 </code></pre>
  23 </notextile>
  24
  25 If it works, this command should print @OK@ (it may also show some status messages from Slurm and/or Docker).  If it does not print @OK@, double-check your compute node setup, and that the @crunch@ user can submit Slurm jobs.
  26
  27 h2. Test the dispatcher
  28
  29 Make sure all of your compute nodes are set up with "Docker":../crunch2/install-compute-node-docker.html or "Singularity":../crunch2/install-compute-node-singularity.html.
  30
  31 On the dispatch node, start monitoring the crunch-dispatch-slurm logs:
  32
  33 <notextile>
  34 <pre><code>~$ <span class="userinput">sudo journalctl -o cat -fu crunch-dispatch-slurm.service</span>
  35 </code></pre>
  36 </notextile>
  37
  38 Submit a simple container request:
  39
  40 <notextile>
  41 <pre><code>shell:~$ <span class="userinput">arv container_request create --container-request '{
  42   "name":            "test",
  43   "state":           "Committed",
  44   "priority":        1,
  45   "container_image": "arvados/jobs:latest",
  46   "command":         ["echo", "Hello, Crunch!"],
  47   "output_path":     "/out",
  48   "mounts": {
  49     "/out": {
  50       "kind":        "tmp",
  51       "capacity":    1000
  52     }
  53   },
  54   "runtime_constraints": {
  55     "vcpus": 1,
  56     "ram": 8388608
  57   }
  58 }'</span>
  59 </code></pre>
  60 </notextile>
  61
  62 This command should return a record with a @container_uuid@ field.  Once @crunch-dispatch-slurm@ polls the API server for new containers to run, you should see it dispatch that same container.  It will log messages like:
  63
  64 <notextile>
  65 <pre><code>2016/08/05 13:52:54 Monitoring container zzzzz-dz642-hdp2vpu9nq14tx0 started
  66 2016/08/05 13:53:04 About to submit queued container zzzzz-dz642-hdp2vpu9nq14tx0
  67 2016/08/05 13:53:04 sbatch succeeded: Submitted batch job 8102
  68 </code></pre>
  69 </notextile>
  70
  71 Before the container finishes, Slurm's @squeue@ command will show the new job in the list of queued and running jobs.  For example, you might see:
  72
  73 <notextile>
  74 <pre><code>~$ <span class="userinput">squeue --long</span>
  75 Fri Aug  5 13:57:50 2016
  76   JOBID PARTITION     NAME     USER    STATE       TIME TIMELIMIT  NODES NODELIST(REASON)
  77    8103   compute zzzzz-dz   crunch  RUNNING       1:56 UNLIMITED      1 compute0
  78 </code></pre>
  79 </notextile>
  80
  81 The job's name corresponds to the container's UUID.  You can get more information about it by running, e.g., <notextile><code>scontrol show job Name=<b>UUID</b></code></notextile>.
  82
  83 When the container finishes, the dispatcher will log that, with the final result:
  84
  85 <notextile>
  86 <pre><code>2016/08/05 13:53:14 Container zzzzz-dz642-hdp2vpu9nq14tx0 now in state "Complete" with locked_by_uuid ""
  87 2016/08/05 13:53:14 Monitoring container zzzzz-dz642-hdp2vpu9nq14tx0 finished
  88 </code></pre>
  89 </notextile>
  90
  91 After the container finishes, you can get the container record by UUID *from a shell server* to see its results:
  92
  93 <notextile>
  94 <pre><code>shell:~$ <span class="userinput">arv get <b>zzzzz-dz642-hdp2vpu9nq14tx0</b></span>
  95 {
  96  ...
  97  "exit_code":0,
  98  "log":"a01df2f7e5bc1c2ad59c60a837e90dc6+166",
  99  "output":"d41d8cd98f00b204e9800998ecf8427e+0",
 100  "state":"Complete",
 101  ...
 102 }
 103 </code></pre>
 104 </notextile>
 105
 106 You can use standard Keep tools to view the container's output and logs from their corresponding fields.  For example, to see the logs from the collection referenced in the @log@ field:
 107
 108 <notextile>
 109 <pre><code>~$ <span class="userinput">arv keep ls <b>a01df2f7e5bc1c2ad59c60a837e90dc6+166</b></span>
 110 ./crunch-run.txt
 111 ./stderr.txt
 112 ./stdout.txt
 113 ~$ <span class="userinput">arv-get <b>a01df2f7e5bc1c2ad59c60a837e90dc6+166</b>/stdout.txt</span>
 114 2016-08-05T13:53:06.201011Z Hello, Crunch!
 115 </code></pre>
 116 </notextile>
 117
 118 If the container does not dispatch successfully, refer to the @crunch-dispatch-slurm@ logs for information about why it failed.