crunch_scripts/arvados-bcbio-nextgen.py

   1 #!/usr/bin/python
   2
   3 import arvados
   4 import subprocess
   5 import subst
   6 import shutil
   7 import os
   8
   9 if len(arvados.current_task()['parameters']) > 0:
  10     p = arvados.current_task()['parameters']
  11 else:
  12     p = arvados.current_job()['script_parameters']
  13
  14 t = arvados.current_task().tmpdir
  15
  16 os.unlink("/usr/local/share/bcbio-nextgen/galaxy")
  17 os.mkdir("/usr/local/share/bcbio-nextgen/galaxy")
  18 shutil.copy("/usr/local/share/bcbio-nextgen/config/bcbio_system.yaml", "/usr/local/share/bcbio-nextgen/galaxy")
  19
  20 with open("/usr/local/share/bcbio-nextgen/galaxy/tool_data_table_conf.xml", "w") as f:
  21     f.write('''<tables>
  22     <!-- Locations of indexes in the BWA mapper format -->
  23     <table name="bwa_indexes" comment_char="#">
  24         <columns>value, dbkey, name, path</columns>
  25         <file path="tool-data/bwa_index.loc" />
  26     </table>
  27     <!-- Locations of indexes in the Bowtie2 mapper format -->
  28     <table name="bowtie2_indexes" comment_char="#">
  29         <columns>value, dbkey, name, path</columns>
  30         <file path="tool-data/bowtie2_indices.loc" />
  31     </table>
  32     <!-- Locations of indexes in the Bowtie2 mapper format for TopHat2 to use -->
  33     <table name="tophat2_indexes" comment_char="#">
  34         <columns>value, dbkey, name, path</columns>
  35         <file path="tool-data/bowtie2_indices.loc" />
  36     </table>
  37     <!-- Location of SAMTools indexes and other files -->
  38     <table name="sam_fa_indexes" comment_char="#">
  39         <columns>index, value, path</columns>
  40         <file path="tool-data/sam_fa_indices.loc" />
  41     </table>
  42     <!-- Location of Picard dict file and other files -->
  43     <table name="picard_indexes" comment_char="#">
  44         <columns>value, dbkey, name, path</columns>
  45         <file path="tool-data/picard_index.loc" />
  46     </table>
  47     <!-- Location of Picard dict files valid for GATK -->
  48     <table name="gatk_picard_indexes" comment_char="#">
  49         <columns>value, dbkey, name, path</columns>
  50         <file path="tool-data/gatk_sorted_picard_index.loc" />
  51     </table>
  52 </tables>
  53 ''')
  54
  55 os.mkdir("/usr/local/share/bcbio-nextgen/galaxy/tool-data")
  56
  57 with open("/usr/local/share/bcbio-nextgen/galaxy/tool-data/bowtie2_indices.loc", "w") as f:
  58     f.write(subst.do_substitution(p, "GRCh37\tGRCh37\tHuman (GRCh37)\t$(dir $(bowtie2_indices))\n"))
  59
  60 with open("/usr/local/share/bcbio-nextgen/galaxy/tool-data/bwa_index.loc", "w") as f:
  61     f.write(subst.do_substitution(p, "GRCh37\tGRCh37\tHuman (GRCh37)\t$(file $(bwa_index))\n"))
  62
  63 with open("/usr/local/share/bcbio-nextgen/galaxy/tool-data/gatk_sorted_picard_index.loc", "w") as f:
  64     f.write(subst.do_substitution(p, "GRCh37\tGRCh37\tHuman (GRCh37)\t$(file $(gatk_sorted_picard_index))\n"))
  65
  66 with open("/usr/local/share/bcbio-nextgen/galaxy/tool-data/picard_index.loc", "w") as f:
  67     f.write(subst.do_substitution(p, "GRCh37\tGRCh37\tHuman (GRCh37)\t$(file $(picard_index))\n"))
  68
  69 with open("/usr/local/share/bcbio-nextgen/galaxy/tool-data/sam_fa_indices.loc", "w") as f:
  70     f.write(subst.do_substitution(p, "index\tGRCh37\t$(file $(sam_fa_indices))\n"))
  71
  72 with open("/tmp/crunch-job/freebayes-variant.yaml", "w") as f:
  73     f.write('''
  74 # Template for whole genome Illumina variant calling with FreeBayes
  75 # This is a GATK-free pipeline without post-alignment BAM pre-processing
  76 # (recalibration and realignment)
  77 ---
  78 details:
  79   - analysis: variant2
  80     genome_build: GRCh37
  81     # to do multi-sample variant calling, assign samples the same metadata / batch
  82     # metadata:
  83     #   batch: your-arbitrary-batch-name
  84     algorithm:
  85       aligner: bwa
  86       mark_duplicates: true
  87       recalibrate: false
  88       realign: false
  89       variantcaller: freebayes
  90       platform: illumina
  91       quality_format: Standard
  92       # for targetted projects, set the region
  93       # variant_regions: /path/to/your.bed
  94 ''')
  95
  96 os.chdir(arvados.current_task().tmpdir)
  97
  98 rcode = subprocess.call(["bcbio_nextgen.py", "--workflow", "template", "/tmp/crunch-job/freebayes-variant.yaml", "project1",
  99                          subst.do_substitution(p, "$(file $(R1))"),
 100                          subst.do_substitution(p, "$(file $(R2))")])
 101
 102 os.chdir("project1/work")
 103
 104 os.symlink("/usr/local/share/bcbio-nextgen/galaxy/tool-data", "tool-data")
 105
 106 rcode = subprocess.call(["bcbio_nextgen.py", "../config/project1.yaml", "-n", os.environ['CRUNCH_NODE_SLOTS']])
 107
 108 print("run-command: completed with exit code %i (%s)" % (rcode, "success" if rcode == 0 else "failed"))
 109
 110 if rcode == 0:
 111     os.chdir("../final")
 112
 113     print("arvados-bcbio-nextgen: the follow output files will be saved to keep:")
 114
 115     subprocess.call(["find", ".", "-type", "f", "-printf", "arvados-bcbio-nextgen: %12.12s %h/%f\\n"])
 116
 117     print("arvados-bcbio-nextgen: start writing output to keep")
 118
 119     done = False
 120     while not done:
 121         try:
 122             out = arvados.CollectionWriter()
 123             out.write_directory_tree(".", max_manifest_depth=0)
 124             outuuid = out.finish()
 125             api.job_tasks().update(uuid=arvados.current_task()['uuid'],
 126                                                  body={
 127                                                      'output':outuuid,
 128                                                      'success': (rcode == 0),
 129                                                      'progress':1.0
 130                                                  }).execute()
 131             done = True
 132         except Exception as e:
 133             print("arvados-bcbio-nextgen: caught exception: {}".format(e))
 134             time.sleep(5)
 135
 136 sys.exit(rcode)