sdk/cwl/arvados_cwl/arv-cwl-schema-v1.1.yml

   1 # Copyright (C) The Arvados Authors. All rights reserved.
   2 #
   3 # SPDX-License-Identifier: Apache-2.0
   4
   5 $base: "http://arvados.org/cwl#"
   6 $namespaces:
   7   cwl: "https://w3id.org/cwl/cwl#"
   8   cwltool: "http://commonwl.org/cwltool#"
   9 $graph:
  10 - $import: https://w3id.org/cwl/CommonWorkflowLanguage.yml
  11
  12 - name: cwltool:Secrets
  13   type: record
  14   inVocab: false
  15   extends: cwl:ProcessRequirement
  16   fields:
  17     class:
  18       type: string
  19       doc: "Always 'Secrets'"
  20       jsonldPredicate:
  21         "_id": "@type"
  22         "_type": "@vocab"
  23     secrets:
  24       type: string[]
  25       doc: |
  26         List one or more input parameters that are sensitive (such as passwords)
  27         which will be deliberately obscured from logging.
  28       jsonldPredicate:
  29         "_type": "@id"
  30         refScope: 0
  31
  32 - name: RunInSingleContainer
  33   type: record
  34   extends: cwl:ProcessRequirement
  35   inVocab: false
  36   doc: |
  37     Indicates that a subworkflow should run in a single container
  38     and not be scheduled as separate steps.
  39   fields:
  40     - name: class
  41       type: string
  42       doc: "Always 'arv:RunInSingleContainer'"
  43       jsonldPredicate:
  44         _id: "@type"
  45         _type: "@vocab"
  46
  47 - name: OutputDirType
  48   type: enum
  49   symbols:
  50     - local_output_dir
  51     - keep_output_dir
  52   doc:
  53     - |
  54       local_output_dir: Use regular file system local to the compute node.
  55       There must be sufficient local scratch space to store entire output;
  56       specify this with `outdirMin` of `ResourceRequirement`.  Files are
  57       batch uploaded to Keep when the process completes.  Most compatible, but
  58       upload step can be time consuming for very large files.
  59     - |
  60       keep_output_dir: Use writable Keep mount.  Files are streamed to Keep as
  61       they are written.  Does not consume local scratch space, but does consume
  62       RAM for output buffers (up to 192 MiB per file simultaneously open for
  63       writing.)  Best suited to processes which produce sequential output of
  64       large files (non-sequential writes may produced fragmented file
  65       manifests).  Supports regular files and directories, does not support
  66       special files such as symlinks, hard links, named pipes, named sockets,
  67       or device nodes.
  68
  69
  70 - name: RuntimeConstraints
  71   type: record
  72   extends: cwl:ProcessRequirement
  73   inVocab: false
  74   doc: |
  75     Set Arvados-specific runtime hints.
  76   fields:
  77     - name: class
  78       type: string
  79       doc: "Always 'arv:RuntimeConstraints'"
  80       jsonldPredicate:
  81         _id: "@type"
  82         _type: "@vocab"
  83     - name: keep_cache
  84       type: int?
  85       doc: |
  86         Size of file data buffer for Keep mount in MiB. Default is 256
  87         MiB. Increase this to reduce cache thrashing in situations such as
  88         accessing multiple large (64+ MiB) files at the same time, or
  89         performing random access on a large file.
  90     - name: outputDirType
  91       type: OutputDirType?
  92       doc: |
  93         Preferred backing store for output staging.  If not specified, the
  94         system may choose which one to use.
  95
  96 - name: PartitionRequirement
  97   type: record
  98   extends: cwl:ProcessRequirement
  99   inVocab: false
 100   doc: |
 101     Select preferred compute partitions on which to run jobs.
 102   fields:
 103     - name: class
 104       type: string
 105       doc: "Always 'arv:PartitionRequirement'"
 106       jsonldPredicate:
 107         _id: "@type"
 108         _type: "@vocab"
 109     - name: partition
 110       type:
 111         - string
 112         - string[]
 113
 114 - name: APIRequirement
 115   type: record
 116   extends: cwl:ProcessRequirement
 117   inVocab: false
 118   doc: |
 119     Indicates that process wants to access to the Arvados API.  Will be granted
 120     limited network access and have ARVADOS_API_HOST and ARVADOS_API_TOKEN set
 121     in the environment.
 122   fields:
 123     - name: class
 124       type: string
 125       doc: "Always 'arv:APIRequirement'"
 126       jsonldPredicate:
 127         _id: "@type"
 128         _type: "@vocab"
 129
 130 - name: IntermediateOutput
 131   type: record
 132   extends: cwl:ProcessRequirement
 133   inVocab: false
 134   doc: |
 135     Specify desired handling of intermediate output collections.
 136   fields:
 137     class:
 138       type: string
 139       doc: "Always 'arv:IntermediateOutput'"
 140       jsonldPredicate:
 141         _id: "@type"
 142         _type: "@vocab"
 143     outputTTL:
 144       type: int
 145       doc: |
 146         If the value is greater than zero, consider intermediate output
 147         collections to be temporary and should be automatically
 148         trashed. Temporary collections will be trashed `outputTTL` seconds
 149         after creation.  A value of zero means intermediate output should be
 150         retained indefinitely (this is the default behavior).
 151
 152         Note: arvados-cwl-runner currently does not take workflow dependencies
 153         into account when setting the TTL on an intermediate output
 154         collection. If the TTL is too short, it is possible for a collection to
 155         be trashed before downstream steps that consume it are started.  The
 156         recommended minimum value for TTL is the expected duration of the
 157         entire the workflow.
 158
 159 - name: WorkflowRunnerResources
 160   type: record
 161   extends: cwl:ProcessRequirement
 162   inVocab: false
 163   doc: |
 164     Specify memory or cores resource request for the CWL runner process itself.
 165   fields:
 166     class:
 167       type: string
 168       doc: "Always 'arv:WorkflowRunnerResources'"
 169       jsonldPredicate:
 170         _id: "@type"
 171         _type: "@vocab"
 172     ramMin:
 173       type: int?
 174       doc: Minimum RAM, in mebibytes (2**20)
 175       jsonldPredicate: "https://w3id.org/cwl/cwl#ResourceRequirement/ramMin"
 176     coresMin:
 177       type: int?
 178       doc: Minimum cores allocated to cwl-runner
 179       jsonldPredicate: "https://w3id.org/cwl/cwl#ResourceRequirement/coresMin"
 180     keep_cache:
 181       type: int?
 182       doc: |
 183         Size of collection metadata cache for the workflow runner, in
 184         MiB.  Default 256 MiB.  Will be added on to the RAM request
 185         when determining node size to request.
 186       jsonldPredicate: "http://arvados.org/cwl#RuntimeConstraints/keep_cache"
 187
 188 - name: ClusterTarget
 189   type: record
 190   extends: cwl:ProcessRequirement
 191   inVocab: false
 192   doc: |
 193     Specify where a workflow step should run
 194   fields:
 195     class:
 196       type: string
 197       doc: "Always 'arv:ClusterTarget'"
 198       jsonldPredicate:
 199         _id: "@type"
 200         _type: "@vocab"
 201     cluster_id:
 202       type: string?
 203       doc: The cluster to run the container
 204     project_uuid:
 205       type: string?
 206       doc: The project that will own the container requests and intermediate collections