doc/user/tutorials/tutorial-submit-job.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: userguide
   4 navmenu: Tutorials
   5 title: "Running on an Arvados cluster"
   6 ...
   7
   8 {% include 'pipeline_deprecation_notice' %}
   9
  10 This tutorial demonstrates how to create a pipeline to run your crunch script on an Arvados cluster.  Cluster jobs can scale out to multiple nodes, and use @git@ and @docker@ to store the complete system snapshot required to achieve reproducibilty.
  11
  12 {% include 'tutorial_expectations' %}
  13
  14 This tutorial uses @$USER@ to denote your username.  Replace @$USER@ with your user name in all the following examples.
  15
  16 Also, this tutorial uses the @tutorial@ arvados repository created in "Adding a new arvados repository":add-new-repository.html as the example repository.
  17
  18 h2. Clone Arvados repository
  19
  20 Please clone the *tutorial* repository using the instructions from "Working with Arvados git repository":git-arvados-guide.html, if you have not yet cloned already.
  21
  22 h2. Creating a Crunch script
  23
  24 Start by entering the @tutorial@ directory created by @git clone@. Next, create a subdirectory called @crunch_scripts@ and change to that directory:
  25
  26 <notextile>
  27 <pre><code>>~$ <span class="userinput">cd tutorial</span>
  28 ~/tutorial$ <span class="userinput">mkdir crunch_scripts</span>
  29 ~/tutorial$ <span class="userinput">cd crunch_scripts</span></code></pre>
  30 </notextile>
  31
  32 Next, using @nano@ or your favorite Unix text editor, create a new file called @hash.py@ in the @crunch_scripts@ directory.
  33
  34 notextile. <pre>~/tutorial/crunch_scripts$ <code class="userinput">nano hash.py</code></pre>
  35
  36 Add the following code to compute the MD5 hash of each file in a collection (if you already completed "Writing a Crunch script":tutorial-firstscript.html you can just copy the @hash.py@ file you created previously.)
  37
  38 <notextile> {% code 'tutorial_hash_script_py' as python %} </notextile>
  39
  40 Make the file executable:
  41
  42 notextile. <pre><code>~/tutorial/crunch_scripts$ <span class="userinput">chmod +x hash.py</span></code></pre>
  43
  44 Next, add the file to the staging area.  This tells @git@ that the file should be included on the next commit.
  45
  46 notextile. <pre><code>~/tutorial/crunch_scripts$ <span class="userinput">git add hash.py</span></code></pre>
  47
  48 Next, commit your changes.  All staged changes are recorded into the local git repository:
  49
  50 <notextile>
  51 <pre><code>~/tutorial/crunch_scripts$ <span class="userinput">git commit -m "my first script"</span>
  52 [master (root-commit) 27fd88b] my first script
  53  1 file changed, 45 insertions(+)
  54  create mode 100755 crunch_scripts/hash.py</code></pre>
  55 </notextile>
  56
  57 Finally, upload your changes to the Arvados server:
  58
  59 <notextile>
  60 <pre><code>~/tutorial/crunch_scripts$ <span class="userinput">git push origin master</span>
  61 Counting objects: 4, done.
  62 Compressing objects: 100% (2/2), done.
  63 Writing objects: 100% (4/4), 682 bytes, done.
  64 Total 4 (delta 0), reused 0 (delta 0)
  65 To git@git.qr1hi.arvadosapi.com:$USER/tutorial.git
  66  * [new branch]      master -> master</code></pre>
  67 </notextile>
  68
  69 h2. Create a pipeline template
  70
  71 Next, create a new template using @arv create pipeline_template@:
  72
  73 <notextile>
  74 <pre><code>~$ <span class="userinput">arv create pipeline_template</span></code></pre>
  75 </notextile>
  76
  77 In the editor, enter the following template:
  78
  79 <notextile> {% code 'tutorial_submit_job' as javascript %} </notextile>
  80
  81 * @"repository"@ is the name of a git repository to search for the script version.  You can access a list of available git repositories on the Arvados Workbench in the *Repositories* page using the <span class="fa fa-lg fa-user"></span> <span class="caret"></span> top navigation menu icon.
  82 * @"script_version"@ specifies the version of the script that you wish to run.  This can be in the form of an explicit Git revision hash, a tag, or a branch (in which case it will use the HEAD of the specified branch).  Arvados logs the script version that was used in the run, enabling you to go back and re-run any past job with the guarantee that the exact same code will be used as was used in the previous run.
  83 * @"script"@ specifies the filename of the script to run.  Crunch expects to find this in the @crunch_scripts/@ subdirectory of the Git repository.
  84 * @"runtime_constraints"@ describes the runtime environment required to run the job.  These are described in the "job record schema":{{site.baseurl}}/api/methods/jobs.html
  85
  86 h2. Running your pipeline
  87
  88 Your new pipeline template should appear at the top of the Workbench "pipeline&nbsp;templates":{{site.arvados_workbench_host}}/pipeline_templates page.  You can run your pipeline "using Workbench":tutorial-workflow-workbench.html or the "command line.":{{site.baseurl}}/user/topics/running-pipeline-command-line.html
  89
  90 For more information and examples for writing pipelines, see the "pipeline template reference":{{site.baseurl}}/api/methods/pipeline_templates.html