doc/user/topics/running-pipeline-command-line.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: userguide
   4 title: "Running a pipeline on the command line"
   5 ...
   6
   7 This tutorial demonstrates how to use the command line to run the same pipeline as described in "running a pipeline using Workbench.":{{site.baseurl}}/user/tutorials/tutorial-pipeline-workbench.html
   8
   9 {% include 'tutorial_expectations' %}
  10
  11 When you use the command line, you must use Arvados unique identifiers to refer to objects.  The identifiers in this example correspond to the following Arvados objects:
  12
  13 * <i class="fa fa-fw fa-gear"></i> "Tutorial align using bwa mem (qr1hi-p5p6p-itzkwxblfermlwv)":https://{{ site.arvados_workbench_host }}/pipeline_templates/qr1hi-p5p6p-itzkwxblfermlwv
  14 * <i class="fa fa-fw fa-archive"></i> "Tutorial chromosome 19 reference (2463fa9efeb75e099685528b3b9071e0+438)":https://{{ site.arvados_workbench_host }}/collections/2463fa9efeb75e099685528b3b9071e0+438
  15 * <i class="fa fa-fw fa-archive"></i> "Tutorial sample exome (3229739b505d2b878b62aed09895a55a+142)":https://{{ site.arvados_workbench_host }}/collections/3229739b505d2b878b62aed09895a55a+142
  16
  17 Use @arv pipeline run@ to run the pipeline, supplying the inputs to the bwa-mem component on the command line:
  18
  19 <notextile>
  20 <pre><code>~$ <span class="userinput">arv pipeline run --run-here --template qr1hi-p5p6p-itzkwxblfermlwv bwa-mem::reference_collection=2463fa9efeb75e099685528b3b9071e0+438 bwa-mem::sample=3229739b505d2b878b62aed09895a55a+142</span>
  21
  22 2014-07-25 18:05:26 +0000 -- pipeline_instance qr1hi-d1hrv-d14trje19pna7f2
  23 bwa-mem qr1hi-8i9sb-67n1qvsronmd2z6 queued 2014-07-25T18:05:25Z
  24
  25 2014-07-25 18:05:36 +0000 -- pipeline_instance qr1hi-d1hrv-d14trje19pna7f2
  26 bwa-mem qr1hi-8i9sb-67n1qvsronmd2z6 {:done=>0, :running=>1, :failed=>0, :todo=>0}
  27
  28 2014-07-25 18:05:46 +0000 -- pipeline_instance qr1hi-d1hrv-d14trje19pna7f2
  29 bwa-mem qr1hi-8i9sb-67n1qvsronmd2z6 49bae1066f4ebce72e2587a3efa61c7d+88
  30 </code></pre>
  31 </notextile>
  32
  33 This instantiates your pipeline and displays a live feed of its status.  The new pipeline instance will also show up on Workbench dashboard.
  34
  35 Arvados adds each pipeline component to the job queue as its dependencies are satisfied (or immediately if it has no dependencies) and finishes when all components are completed or failed and there is no more work left to do.
  36
  37 The Keep locators of the output of of the @bwa-mem@ components are available from the status feed shown above:
  38
  39 <notextile>
  40 <pre><code>~$ <span class="userinput">arv keep ls -s 49bae1066f4ebce72e2587a3efa61c7d+88</span>
  41      29226 ./HWI-ST1027_129_D0THKACXX.1_1.sam
  42 </code></pre>
  43 </notextile>