doc/api/methods/collections.html.textile.liquid

   1 ---
   2 layout: default
   3 navsection: api
   4 navmenu: API Methods
   5 title: "collections"
   6
   7 ...
   8 {% comment %}
   9 Copyright (C) The Arvados Authors. All rights reserved.
  10
  11 SPDX-License-Identifier: CC-BY-SA-3.0
  12 {% endcomment %}
  13
  14 API endpoint base: @https://{{ site.arvados_api_host }}/arvados/v1/collections@
  15
  16 Object type: @4zz18@
  17
  18 Example UUID: @zzzzz-4zz18-0123456789abcde@
  19
  20 h2. Resource
  21
  22 Collections describe sets of files in terms of data blocks stored in Keep.  See "Keep - Content-Addressable Storage":{{site.baseurl}}/architecture/storage.html for details.
  23
  24 Each collection has, in addition to the "Common resource fields":{{site.baseurl}}/api/resources.html:
  25
  26 table(table table-bordered table-condensed).
  27 |_. Attribute|_. Type|_. Description|_. Example|
  28 |name|string|||
  29 |description|text|||
  30 |properties|hash|User-defined metadata, may be used in queries using "subproperty filters":{{site.baseurl}}/api/methods.html#subpropertyfilters ||
  31 |portable_data_hash|string|The MD5 sum of the manifest text stripped of block hints other than the size hint.||
  32 |manifest_text|text|||
  33 |replication_desired|number|Minimum storage replication level desired for each data block referenced by this collection. A value of @null@ signifies that the site default replication level (typically 2) is desired.|@2@|
  34 |replication_confirmed|number|Replication level most recently confirmed by the storage system. This field is null when a collection is first created, and is reset to null when the manifest_text changes in a way that introduces a new data block. An integer value indicates the replication level of the _least replicated_ data block in the collection.|@2@, null|
  35 |replication_confirmed_at|datetime|When @replication_confirmed@ was confirmed. If @replication_confirmed@ is null, this field is also null.||
  36 |storage_classes_desired|list|An optional list of storage class names where the blocks should be saved. If not provided, the cluster's default storage class(es) will be set.|@['archival']@|
  37 |storage_classes_confirmed|list|Storage classes most recently confirmed by the storage system. This field is an empty list when a collection is first created.|@'archival']@, @[]@|
  38 |storage_classes_confirmed_at|datetime|When @storage_classes_confirmed@ was confirmed. If @storage_classes_confirmed@ is @[]@, this field is null.||
  39 |trash_at|datetime|If @trash_at@ is non-null and in the past, this collection will be hidden from API calls.  May be untrashed.||
  40 |delete_at|datetime|If @delete_at@ is non-null and in the past, the collection may be permanently deleted.||
  41 |is_trashed|boolean|True if @trash_at@ is in the past, false if not.||
  42 |current_version_uuid|string|UUID of the collection's current version. On new collections, it'll be equal to the @uuid@ attribute.||
  43 |version|number|Version number, starting at 1 on new collections. This attribute is read-only.||
  44 |preserve_version|boolean|When set to true on a current version, it will be persisted. When passing @true@ as part of a bigger update call, both current and newly created versions are persisted.||
  45 |file_count|number|The total number of files in the collection. This attribute is read-only.||
  46 |file_size_total|number|The sum of the file sizes in the collection. This attribute is read-only.||
  47
  48 h3. Conditions of creating a Collection
  49
  50 The @portable_data_hash@ and @manifest_text@ attributes must be provided when creating a Collection. The cryptographic digest of the supplied @manifest_text@ must match the supplied @portable_data_hash@.
  51
  52 h3. Side effects of creating a Collection
  53
  54 Referenced blocks are protected from garbage collection in Keep.
  55
  56 Data can be shared with other users via the Arvados permission model.
  57
  58 h2. Methods
  59
  60 See "Common resource methods":{{site.baseurl}}/api/methods.html for more information about @create@, @delete@, @get@, @list@, and @update@.
  61
  62 Required arguments are displayed in %{background:#ccffcc}green%.
  63
  64 Supports federated @get@ only, which may be called with either a uuid or a portable data hash.  When requesting a portable data hash which is not available on the home cluster, the query is forwarded to all the clusters listed in @RemoteClusters@ and returns the first successful result.
  65
  66 h3. create
  67
  68 Create a new Collection.
  69
  70 Arguments:
  71
  72 table(table table-bordered table-condensed).
  73 |_. Argument |_. Type |_. Description |_. Location |_. Example |
  74 |collection|object||query||
  75
  76 h3. delete
  77
  78 Put a Collection in the trash.  This sets the @trash_at@ field to @now@ and @delete_at@ field to @now@ + token TTL.  A trashed collection is invisible to most API calls unless the @include_trash@ parameter is true.
  79
  80 Arguments:
  81
  82 table(table table-bordered table-condensed).
  83 |_. Argument |_. Type |_. Description |_. Location |_. Example |
  84 {background:#ccffcc}.|uuid|string|The UUID of the Collection in question.|path||
  85
  86 h3. get
  87
  88 Gets a Collection's metadata by UUID or portable data hash.  When making a request by portable data hash, the returned record will only have the @portable_data_hash@ and @manifest_text@.
  89
  90 Arguments:
  91
  92 table(table table-bordered table-condensed).
  93 |_. Argument |_. Type |_. Description |_. Location |_. Example |
  94 {background:#ccffcc}.|uuid|string|The UUID of the Collection in question.|path||
  95
  96 h3. list
  97
  98 List collections.
  99
 100 See "common resource list method.":{{site.baseurl}}/api/methods.html#index
 101
 102 table(table table-bordered table-condensed).
 103 |_. Argument |_. Type |_. Description |_. Location |_. Example |
 104 |include_trash|boolean (default false)|Include trashed collections.|query||
 105 |include_old_versions|boolean (default false)|Include past versions of the collection(s) being listed, if any.|query||
 106
 107 Note: Because adding access tokens to manifests can be computationally expensive, the @manifest_text@ field is not included in results by default.  If you need it, pass a @select@ parameter that includes @manifest_text@.
 108
 109 h3. update
 110
 111 Update attributes of an existing Collection.
 112
 113 Arguments:
 114
 115 table(table table-bordered table-condensed).
 116 |_. Argument |_. Type |_. Description |_. Location |_. Example |
 117 {background:#ccffcc}.|uuid|string|The UUID of the Collection in question.|path||
 118 |collection|object||query||
 119
 120 h3. untrash
 121
 122 Remove a Collection from the trash.  This sets the @trash_at@ and @delete_at@ fields to @null@.
 123
 124 Arguments:
 125
 126 table(table table-bordered table-condensed).
 127 |_. Argument |_. Type |_. Description |_. Location |_. Example |
 128 {background:#ccffcc}.|uuid|string|The UUID of the Collection to untrash.|path||
 129 |ensure_unique_name|boolean (default false)|Rename collection uniquely if untrashing it would fail with a unique name conflict.|query||
 130
 131
 132 h3. provenance
 133
 134 Returns a list of objects in the database that directly or indirectly contributed to producing this collection, such as the container request that produced this collection as output.
 135
 136 The general algorithm is:
 137
 138 # Visit the container request that produced this collection (via @output_uuid@ or @log_uuid@ attributes of the container request)
 139 # Visit the input collections to that container request (via @mounts@ and @container_image@ of the container request)
 140 # Iterate until there are no more objects to visit
 141
 142 Arguments:
 143
 144 table(table table-bordered table-condensed).
 145 |_. Argument |_. Type |_. Description |_. Location |_. Example |
 146 {background:#ccffcc}.|uuid|string|The UUID of the Collection to get provenance.|path||
 147
 148 h3. used_by
 149
 150 Returns a list of objects in the database this collection directly or indirectly contributed to, such as containers that takes this collection as input.
 151
 152 The general algorithm is:
 153
 154 # Visit containers that take this collection as input (via @mounts@ or @container_image@ of the container)
 155 # Visit collections produced by those containers (via @output@ or @log@ of the container)
 156 # Iterate until there are no more objects to visit
 157
 158 Arguments:
 159
 160 table(table table-bordered table-condensed).
 161 |_. Argument |_. Type |_. Description |_. Location |_. Example |
 162 {background:#ccffcc}.|uuid|string|The UUID of the Collection to get usage.|path||