doc/user/tutorial-keep.textile

   1 ---
   2 layout: default
   3 navsection: userguide
   4 title: "Tutorial: Adding Data to Keep"
   5 navorder: 21
   6 ---
   7
   8 h1. Tutorial: Adding Data to Keep
   9
  10 Now that you've run a Crunch job on sample data, we'll walk you through the process of uploading your own research data into Keep, the distributed storage service.
  11
  12 h2. Prerequisites
  13
  14 You should have already "run your first job":tutorial-job1.html using sample data on an Arvados shell VM.  If you haven't, go do that first.
  15
  16 h2. Adding Data to Keep
  17
  18 Let's suppose you have a VCF file, @MyExome.vcf@ and want to run an Arvados pipeline on this data.  Copy it to the Arvados shell VM with @rsync@:
  19
  20 bc. rsync MyExome.vcf shell.arvados:MyExome.vcf
  21
  22 If you don't already have VCF data ready to go, you can download a VCF exome from "PersonalGenomes.org":http://www.personalgenomes.org (["example":https://my.personalgenomes.org/user_file/download/825]).
  23
  24 bc.. $ ssh shell.arvados
  25
  26 shell.arvados$ wget -o MyExome.vcf https://my.personalgenomes.org/user_file/download/825
  27 --2013-12-10 21:25:18--  https://my.personalgenomes.org/user_file/download/825
  28 Resolving my.personalgenomes.org (my.personalgenomes.org)... 134.174.150.6
  29 Connecting to my.personalgenomes.org (my.personalgenomes.org)|134.174.150.6|:443... connected.
  30 ...
  31 HTTP request sent, awaiting response... 200 OK
  32 Length: 39814813 (38M) [text/x-vcard]
  33 Saving to: ‘MyExome.vcf’
  34
  35 100% [=====================================>] 39,814,813   193KB/s  in 4m 42s
  36
  37 2013-12-10 21:33:54 (138 KB/s) - ‘MyExome.vcf’ saved [39814813/39814813]
  38
  39 p. On the shell VM, Make sure that your Arvados environment includes @ARVADOS_API_TOKEN@ and @ARVADOS_API_HOST@ as described in "Tutorial: Your first job":tutorial-job1.html.
  40
  41 Use the @arv keep@ command to add your VCF data to Keep:
  42
  43 bc. shell.arvados$ arv keep put MyExome.vcf
  44 9845d870ebe27036ba101a3bee10fb3f+234+K@ant
  45
  46 The string returned by @arv keep@ is a _locator._ It is essentially a filename for data stored in Keep.
  47