doc/user/topics/storage-classes.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: userguide
   4 title: Using storage classes
   5 ...
   6
   7 {% comment %}
   8 Copyright (C) The Arvados Authors. All rights reserved.
   9
  10 SPDX-License-Identifier: CC-BY-SA-3.0
  11 {% endcomment %}
  12
  13 Storage classes (sometimes called as "storage tiers") allow you to control which back-end storage volumes should be used to store the data blocks of a particular collection.  This can be used to implement data storage policies such as assigning data collections to "fast", "robust" or "archival" storage.
  14
  15 Names of storage classes are internal to the cluster and decided by the administrator.  Aside from "default", Arvados currently does not define any standard storage class names.  Consult your cluster administrator for guidance on what storage classes are available to use on your specific Arvados instance.
  16
  17 Note that when changing the storage class of an existing collection, it does not take effect immediately, the blocks are asynchronously copied to the new storage class and removed from the old one.  The collection field "storage_classes_confirmed" is updated to reflect when data blocks have been successfully copied.
  18
  19 h3. arv-put
  20
  21 You may specify one or more desired storage classes for a collection uploaded using @arv-put@:
  22
  23 <pre>
  24 $ arv-put --storage-classes=hot,archival myfile.txt
  25 </pre>
  26
  27 h3. arv-mount
  28
  29 You can ask @arv-mount@ to use specific storage classes when creating new collections:
  30
  31 <pre>
  32 $ arv-mount --storage-classes=transient --mount-tmp=scratch keep
  33 </pre>
  34
  35 h3. arvados-cwl-runner
  36
  37 You may specify the desired storage class for the intermediate and final output collections produced by @arvados-cwl-runner@ on the command line or using the "arv:OutputStorageClass hint":{{site.baseurl}}/user/cwl/cwl-extensions.html#OutputStorageClass .
  38
  39 <pre>
  40 $ arvados-cwl-runner --intermediate-storage-classes=hot_storage --storage-classes=robust_storage myworkflow.cwl myinput.yml
  41 </pre>
  42
  43 h3. arv command line
  44
  45 You may set the storage class on an existing collection by setting the "storage_classes_desired" field of a Collection.  For example, at the command line:
  46
  47 <pre>
  48 $ arv collection update --uuid zzzzz-4zz18-dhhm0ay8k8cqkvg --collection '{"storage_classes_desired": ["archival"]}'
  49 </pre>
  50
  51 By setting "storage_classes_desired" to "archival", the blocks that make up the collection will be preferentially moved to keepstore volumes which are configured with the "archival" storage class.
  52
  53 h3. Storage class notes
  54
  55 Collection blocks will be in the cluster's configured default storage class(es) if not otherwise specified.
  56
  57 Any user with write access to a collection may set any storage class on that collection.