doc/user/topics/running-pipeline-command-line.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: userguide
   4 title: "Running a pipeline on the command line"
   5 ...
   6
   7 In "Writing a pipeline":{{ site.baseurl }}/user/tutorials/tutorial-firstscript.html, we learned how to create a pipeline template on the command-line.  Let's create one that doesn't require any user input to start:
   8
   9 <notextile>
  10 <pre><code>~$ <span class="userinput">cat &gt;the_pipeline &lt;&lt;EOF
  11 {
  12   "name":"Filter md5 hash values",
  13   "components":{
  14     "do_hash":{
  15       "script":"hash.py",
  16       "script_parameters":{
  17         "input": "887cd41e9c613463eab2f0d885c6dd96+83"
  18       },
  19       "repository":"<b>you</b>",
  20       "script_version":"master"
  21     },
  22     "filter":{
  23       "script":"0-filter.py",
  24       "script_parameters":{
  25         "input":{
  26           "output_of":"do_hash"
  27         }
  28       },
  29       "repository":"<b>you</b>",
  30       "script_version":"master"
  31     }
  32   }
  33 }
  34 EOF</span>
  35 ~$ <span class="userinput">arv pipeline_template create --pipeline-template "$(cat the_pipeline)"</span></code></pre>
  36 </notextile>
  37
  38 You can run this pipeline from the command line using @arv pipeline run@, filling in the UUID that you received from @arv pipeline_template create@:
  39
  40 <notextile>
  41 <pre><code>~$ <span class="userinput">arv pipeline run --template qr1hi-p5p6p-xxxxxxxxxxxxxxx</span>
  42 2013-12-16 14:08:40 +0000 -- pipeline_instance qr1hi-d1hrv-vxzkp38nlde9yyr
  43 do_hash qr1hi-8i9sb-hoyc2u964ecv1s6 queued 2013-12-16T14:08:40Z
  44 filter  -                           -
  45
  46 2013-12-16 14:08:51 +0000 -- pipeline_instance qr1hi-d1hrv-vxzkp38nlde9yyr
  47 do_hash qr1hi-8i9sb-hoyc2u964ecv1s6 8e1b6acdd3f2f1da722538127c5c6202+56
  48 filter  qr1hi-8i9sb-w5k40fztqgg9i2x queued 2013-12-16T14:08:50Z
  49
  50 2013-12-16 14:09:01 +0000 -- pipeline_instance qr1hi-d1hrv-vxzkp38nlde9yyr
  51 do_hash qr1hi-8i9sb-hoyc2u964ecv1s6 8e1b6acdd3f2f1da722538127c5c6202+56
  52 filter  qr1hi-8i9sb-w5k40fztqgg9i2x 735ac35adf430126cf836547731f3af6+56
  53 </code></pre>
  54 </notextile>
  55
  56 This instantiates your pipeline and displays a live feed of its status.  The new pipeline instance will also show up on the Workbench %(rarr)&rarr;% Compute %(rarr)&rarr;% Pipeline&nbsp;instances page.
  57
  58 Arvados adds each pipeline component to the job queue as its dependencies are satisfied (or immediately if it has no dependencies) and finishes when all components are completed or failed and there is no more work left to do.
  59
  60 The Keep locators of the output of each of @"do_hash"@ and @"filter"@ component are available from the output log shown above.  The output is also available on the Workbench by navigating to %(rarr)&rarr;% Compute %(rarr)&rarr;% Pipeline&nbsp;instances %(rarr)&rarr;% pipeline uuid under the *id* column %(rarr)&rarr;% components.
  61
  62 <notextile>
  63 <pre><code>~$ <span class="userinput">arv keep get 8e1b6acdd3f2f1da722538127c5c6202+56/md5sum.txt</span>
  64 0f1d6bcf55c34bed7f92a805d2d89bbf alice.txt
  65 504938460ef369cd275e4ef58994cffe bob.txt
  66 8f3b36aff310e06f3c5b9e95678ff77a carol.txt
  67 ~$ <span class="userinput">arv keep get 735ac35adf430126cf836547731f3af6+56/0-filter.txt</span>
  68 0f1d6bcf55c34bed7f92a805d2d89bbf alice.txt
  69 </code></pre>
  70 </notextile>
  71
  72 Indeed, the filter has picked out just the "alice" file as having a hash that starts with 0.
  73
  74 h3. Running a pipeline with different parameters
  75
  76 Notice that the pipeline template explicitly specifies the Keep locator for the input:
  77
  78 <notextile>
  79 <pre><code>...
  80     "do_hash":{
  81       "script_parameters":{
  82         "input": "887cd41e9c613463eab2f0d885c6dd96+83"
  83       },
  84     }
  85 ...
  86 </code></pre>
  87 </notextile>
  88
  89 You can specify values for pipeline component script_parameters like this:
  90
  91 <notextile>
  92 <pre><code>~$ <span class="userinput">arv pipeline run --template qr1hi-p5p6p-xxxxxxxxxxxxxxx do_hash::input=c1bad4b39ca5a924e481008009d94e32+210</span>
  93 2013-12-17 20:31:24 +0000 -- pipeline_instance qr1hi-d1hrv-tlkq20687akys8e
  94 do_hash qr1hi-8i9sb-rffhuay4jryl2n2 queued 2013-12-17T20:31:24Z
  95 filter  -                           -
  96
  97 2013-12-17 20:31:34 +0000 -- pipeline_instance qr1hi-d1hrv-tlkq20687akys8e
  98 do_hash qr1hi-8i9sb-rffhuay4jryl2n2 {:done=>1, :running=>1, :failed=>0, :todo=>0}
  99 filter  -                           -
 100
 101 2013-12-17 20:31:55 +0000 -- pipeline_instance qr1hi-d1hrv-tlkq20687akys8e
 102 do_hash qr1hi-8i9sb-rffhuay4jryl2n2 880b55fb4470b148a447ff38cacdd952+54
 103 filter  qr1hi-8i9sb-j347g1sqovdh0op queued 2013-12-17T20:31:55Z
 104
 105 2013-12-17 20:32:05 +0000 -- pipeline_instance qr1hi-d1hrv-tlkq20687akys8e
 106 do_hash qr1hi-8i9sb-rffhuay4jryl2n2 880b55fb4470b148a447ff38cacdd952+54
 107 filter  qr1hi-8i9sb-j347g1sqovdh0op 490cd451c8108824b8a17e3723e1f236+19
 108 </code></pre>
 109 </notextile>
 110
 111 Now check the output:
 112
 113 <notextile>
 114 <pre><code>~$ <span class="userinput">arv keep get 880b55fb4470b148a447ff38cacdd952+54/md5sum.txt</span>
 115 44b8ae3fde7a8a88d2f7ebd237625b4f var-GS000016015-ASM.tsv.bz2
 116 ~$ <span class="userinput">arv keep get 490cd451c8108824b8a17e3723e1f236+19/0-filter.txt</span>
 117 </code></pre>
 118 </notextile>
 119
 120 Since none of the files in the collection have hash code that start with 0, output of the filter component is empty.