doc/user/cwl/federated-workflows.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: userguide
   4 title: Federated Multi-Cluster Workflows
   5 ...
   6 {% comment %}
   7 Copyright (C) The Arvados Authors. All rights reserved.
   8
   9 SPDX-License-Identifier: CC-BY-SA-3.0
  10 {% endcomment %}
  11
  12 To support running analysis on geographically dispersed data (avoiding expensive data transfers by sending the computation to the data) and "hybrid cloud" configurations where an on-premise cluster can expand its capabilities by delegating work to a cloud-base cluster, Arvados supports federated workflows.  In a federated workflow, different steps of a workflow may execute on different clusters.  Arvados manages data transfer and delegation of credentials, so this as easy as simply adding cluster target hints to your existing workflow.
  13
  14 h2. Federated scatter/gather example
  15
  16
  17
  18 {% codeblock as yaml %}
  19 {% include 'federated_cwl' %}
  20 {% endcodeblock %}
  21
  22 {% codeblock as yaml %}
  23 {% include 'shards_yml' %}
  24 {% endcodeblock %}