doc/user/tutorials/tutorial-keep.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: userguide
   4 title: "Uploading data"
   5 ...
   6
   7 This tutorial describes how to to upload new Arvados data collections using the command line tool @arv keep put@.
   8
   9 notextile. <div class="spaced-out">
  10
  11 {% include 'tutorial_expectations' %}
  12
  13 h2. Upload using command prompt
  14
  15 To upload a file to Keep using @arv keep put@:
  16 <notextile>
  17 <pre><code>~$ <span class="userinput">arv keep put var-GS000016015-ASM.tsv.bz2</span>
  18 216M / 216M 100.0%
  19 Collection saved as ...
  20 qr1hi-4zz18-xxxxxxxxxxxxxxx
  21 </code></pre>
  22 </notextile>
  23
  24 The output value @qr1hi-4zz18-xxxxxxxxxxxxxxx@ is the uuid of the Arvados collection created.
  25
  26 The file used in this example is a freely available TSV file containing variant annotations from "Personal Genome Project (PGP)":http://www.pgp-hms.org participant "hu599905.":https://my.pgp-hms.org/profile/hu599905), downloadable "here":https://warehouse.pgp-hms.org/warehouse/f815ec01d5d2f11cb12874ab2ed50daa+234+K@ant/var-GS000016015-ASM.tsv.bz2.
  27
  28 <notextile><a name="dir"></a></notextile>It is also possible to upload an entire directory with @arv keep put@:
  29
  30 <notextile>
  31 <pre><code>~$ <span class="userinput">mkdir tmp</span>
  32 ~$ <span class="userinput">echo "hello alice" > tmp/alice.txt</span>
  33 ~$ <span class="userinput">echo "hello bob" > tmp/bob.txt</span>
  34 ~$ <span class="userinput">echo "hello carol" > tmp/carol.txt</span>
  35 ~$ <span class="userinput">arv keep put tmp</span>
  36 0M / 0M 100.0%
  37 Collection saved as ...
  38 qr1hi-4zz18-yyyyyyyyyyyyyyy
  39 </code></pre>
  40 </notextile>
  41
  42 In both examples, the @arv keep put@ command created a collection. The first collection contains the single uploaded file. The second collection contains the entire uploaded directory.
  43
  44 @arv keep put@ accepts quite a few optional command line arguments, which are described on the "arv subcommands":{{site.baseurl}}/sdk/cli/subcommands.html#arv-keep-put page.
  45
  46 h3. Locate your collection in Workbench
  47
  48 Visit the Workbench *Dashboard*.  Click on *Projects*<span class="caret"></span> dropdown menu in the top navigation menu, select your *Home* project.  Your newly uploaded collection should appear near the top of the *Data collections* tab.  The collection locator printed by @arv keep put@ will appear under the *name* column.
  49
  50 To move the collection to a different project, check the box at the left of the collection row.  Pull down the *Selection...*<span class="caret"></span> menu near the top of the page tab, and select *Move selected*. This will open a dialog box where you can select a destination project for the collection.  Click a project, then finally the <span class="btn btn-sm btn-primary">Move</span> button.
  51
  52 !{display: block;margin-left: 25px;margin-right: auto;}{{ site.baseurl }}/images/workbench-move-selected.png!
  53
  54 Click on the *<i class="fa fa-fw fa-archive"></i> Show* button next to the collection's listing on a project page to go to the Workbench page for your collection.  On this page, you can see the collection's contents, download individual files, and set sharing options.
  55
  56 notextile. </div>
  57
  58 h2. Upload using Workbench
  59
  60 To upload using Workbench, visit the Workbench *Dashboard*. Click on *Projects*<span class="caret"></span> dropdown menu in the top navigation menu and select your *Home* project or any other project of your choosing.  You will see the *Data collections* tab for this project, which lists the collections in this project.
  61
  62 To upload a file, click on *Add data*<span class="caret"></span> dropdown menu and select *Upload files from my computer*.
  63
  64 !{display: block;margin-left: 25px;margin-right: auto;border:1px solid lightgray;}{{ site.baseurl }}/images/upload-using-workbench.png!
  65
  66 <br/>This will create a new empty collection in your chosen project and will take you to the *Upload* tab for that collection.
  67
  68 !{display: block;margin-left: 25px;margin-right: auto;border:1px solid lightgray;}{{ site.baseurl }}/images/upload-tab-in-new-collection.png!
  69
  70 Click on the *Browse...* button and select the files you would like to upload. You can select multiple files. You will be able to click on the "Browse..." button multiple times and select files. After you are done selecting files to upload, click on the *<i class="fa fa-fw fa-play"></i> Start* button to start upload. This will start uploading files to Arvados and Workbench will show you the progress bar. When upload is completed, you will see an indication to that effect.
  71
  72 !{display: block;margin-left: 25px;margin-right: auto;border:1px solid lightgray;}{{ site.baseurl }}/images/files-uploaded.png!
  73
  74 *Note:* If you were to leave the collection page during the upload, the upload action will be aborted and you would need to upload again.
  75
  76 *Note:* You will be able to use the *Add data*<span class="caret"></span> dropdown menu to add additional files to a previously collection as well.