doc/user/cwl/federated-workflows.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: userguide
   4 title: Federated Multi-Cluster Workflows
   5 ...
   6 {% comment %}
   7 Copyright (C) The Arvados Authors. All rights reserved.
   8
   9 SPDX-License-Identifier: CC-BY-SA-3.0
  10 {% endcomment %}
  11
  12 To support running analysis on geographically dispersed data (avoiding expensive data transfers by sending the computation to the data) and "hybrid cloud" configurations where an on-premise cluster can expand its capabilities by delegating work to a cloud-base cluster, Arvados supports federated workflows.  In a federated workflow, different steps of a workflow may execute on different clusters.  Arvados manages data transfer and delegation of credentials, all that is required is adding "arv:ClusterTarget":cwl-extensions.html#clustertarget hints to your existing workflow.
  13
  14 !(full-width)federated-workflow.svg!
  15
  16 h2. Get the example files
  17
  18 The tutorial files are located in the "documentation section of the Arvados source repository:":https://github.com/curoverse/arvados/tree/master/doc/user/cwl/federated
  19
  20 <notextile>
  21 <pre><code>~$ <span class="userinput">git clone https://github.com/curoverse/arvados</span>
  22 ~$ <span class="userinput">cd arvados/doc/user/cwl/federated</span>
  23 </code></pre>
  24 </notextile>
  25
  26 h2. Federated scatter/gather example
  27
  28 In this following example, an analysis task is executed on three different clusters with different data, then the results are combined to produce the final output.
  29
  30 {% codeblock as yaml %}
  31 {% include 'federated_cwl' %}
  32 {% endcodeblock %}
  33
  34 Example input document:
  35
  36 {% codeblock as yaml %}
  37 {% include 'shards_yml' %}
  38 {% endcodeblock %}