3609: Set "name" to abbreviated form, put full command line in the description field...
authorPeter Amstutz <peter.amstutz@curoverse.com>
Thu, 16 Oct 2014 19:21:03 +0000 (15:21 -0400)
committerPeter Amstutz <peter.amstutz@curoverse.com>
Thu, 16 Oct 2014 19:21:03 +0000 (15:21 -0400)
doc/user/topics/arv-run.html.textile.liquid
sdk/python/arvados/commands/run.py

index 5613fdb6c80d6df6ca489d3f22533e1e07ae8306..dcf03ed8506072e000db8cb09051c26ac1887a48 100644 (file)
@@ -35,19 +35,19 @@ Thu Oct 16 17:30:42 2014 qr1hi-8i9sb-8wdaabnughiolpy 13541 0 stderr run-command:
 
 A key feature of @arv-run@ is the ability to introspect the command line to determine which arguments are file inputs, and transform those paths so they are usable inside the Arvados container.  In the above example, @HWI-ST1027_129_D0THKACXX.1_2.fastq@ is transformed into @/keep/3229739b505d2b878b62aed09895a55a+142/HWI-ST1027_129_D0THKACXX.1_1.fastq@.  In the above example, @arv-run@ works together with @arv-mount@ to identify that the file is already part of an Arvados collection.  In this case, it will use the existing collection without any upload step.  If you specify a file that is only available on the local filesystem, @arv-run@ will upload a new collection and use that.
 
-@arv-run@ will parallelize on the files listed on the command line after @--@.  You may specify @--batch-size N@ after the @--@ but before listing any files to specify how many files to provide put on the command line for each task.  The syntax is designed to mimic standard shell syntax, so it is usually necessary to quote the metacharacters < > and | as either \< \> and \| or '<' '>' and '|'.
+h2. Parallel tasks
+
+@arv-run@ will parallelize over files listed on the command line after @--@.
 
 <notextile>
 <pre>
-$ <span class="userinput">cd ~/keep/by_id/3229739b505d2b878b62aed09895a55a+142</span>
-$ <span class="userinput">ls *.fastq</span>
 HWI-ST1027_129_D0THKACXX.1_1.fastq  HWI-ST1027_129_D0THKACXX.1_2.fastq
-$ <span class="userinput">arv-run grep -H -n ATTGGAGGAAAGATGAGTGAC -- *.fastq \&gt; output.txt</span>
+$ <span class="userinput">arv-run grep -H -n ATTGGAGGAAAGATGAGTGAC -- *.fastq</span>
 Running pipeline qr1hi-d1hrv-mg3bju0u7r6w241
 </pre>
 </notextile>
 
-You may use stdin @<@ redirection on multiple files.  This will create a separate task for each input file:
+You may use also stdin @<@ redirection on multiple files.  This will create a separate task for each input file.  Because the syntax is designed to mimic standard shell syntax, it is necessary to quote the metacharacters @<@, @>@ and @|@ as either @\<@, @\>@ and @\|@ or @'<'@, @'>'@ and @'|'@.
 
 <notextile>
 <pre>
@@ -65,6 +65,8 @@ Use @arv-run --dry-run@ to print out the final Arvados pipeline generated by @ar
 
 By default, the pipeline will be submitted to your configured Arvado instance.  Use @arv-run --local@ to run the command locally using "arv-crunch-job".
 
+You may specify @--batch-size N@ after the @--@ but before listing any files to specify how many files to provide put on the command line for each task.
+
 h1. Examples
 
 Run one @grep@ task per file, with each input files piped from stdin.  Redirect the output to output.txt.
index 06c4bf86d037a6673f37f092c8af2132c4ed2865..2375f5831e8609cb3c43ecc08b90200d6ca0bfa6 100644 (file)
@@ -198,7 +198,8 @@ def main(arguments=None):
     component["script_parameters"]["command"] = slots[2:]
 
     pipeline = {
-        "name": " ".join(starting_args),
+        "name": " | ".join([s[0] for s in slots[2:]]),
+        "description": "@" + " ".join(starting_args) + "@",
         "components": {
             "command": component
         },