sdk/go/arvados/collection.go

   1 // Copyright (C) The Arvados Authors. All rights reserved.
   2 //
   3 // SPDX-License-Identifier: Apache-2.0
   4
   5 package arvados
   6
   7 import (
   8         "bufio"
   9         "fmt"
  10         "strings"
  11         "time"
  12
  13         "git.arvados.org/arvados.git/sdk/go/blockdigest"
  14 )
  15
  16 // Collection is an arvados#collection resource.
  17 type Collection struct {
  18         UUID                      string                 `json:"uuid"`
  19         Etag                      string                 `json:"etag"`
  20         OwnerUUID                 string                 `json:"owner_uuid"`
  21         TrashAt                   *time.Time             `json:"trash_at"`
  22         ManifestText              string                 `json:"manifest_text"`
  23         UnsignedManifestText      string                 `json:"unsigned_manifest_text"`
  24         Name                      string                 `json:"name"`
  25         CreatedAt                 time.Time              `json:"created_at"`
  26         ModifiedAt                time.Time              `json:"modified_at"`
  27         ModifiedByClientUUID      string                 `json:"modified_by_client_uuid"`
  28         ModifiedByUserUUID        string                 `json:"modified_by_user_uuid"`
  29         PortableDataHash          string                 `json:"portable_data_hash"`
  30         ReplicationConfirmed      *int                   `json:"replication_confirmed"`
  31         ReplicationConfirmedAt    *time.Time             `json:"replication_confirmed_at"`
  32         ReplicationDesired        *int                   `json:"replication_desired"`
  33         StorageClassesDesired     []string               `json:"storage_classes_desired"`
  34         StorageClassesConfirmed   []string               `json:"storage_classes_confirmed"`
  35         StorageClassesConfirmedAt time.Time              `json:"storage_classes_confirmed_at"`
  36         DeleteAt                  *time.Time             `json:"delete_at"`
  37         IsTrashed                 bool                   `json:"is_trashed"`
  38         Properties                map[string]interface{} `json:"properties"`
  39         WritableBy                []string               `json:"writable_by,omitempty"`
  40 }
  41
  42 func (c Collection) resourceName() string {
  43         return "collection"
  44 }
  45
  46 // SizedDigests returns the hash+size part of each data block
  47 // referenced by the collection.
  48 func (c *Collection) SizedDigests() ([]SizedDigest, error) {
  49         manifestText := c.ManifestText
  50         if manifestText == "" {
  51                 manifestText = c.UnsignedManifestText
  52         }
  53         if manifestText == "" && c.PortableDataHash != "d41d8cd98f00b204e9800998ecf8427e+0" {
  54                 // TODO: Check more subtle forms of corruption, too
  55                 return nil, fmt.Errorf("manifest is missing")
  56         }
  57         var sds []SizedDigest
  58         scanner := bufio.NewScanner(strings.NewReader(manifestText))
  59         scanner.Buffer(make([]byte, 1048576), len(manifestText))
  60         for scanner.Scan() {
  61                 line := scanner.Text()
  62                 tokens := strings.Split(line, " ")
  63                 if len(tokens) < 3 {
  64                         return nil, fmt.Errorf("Invalid stream (<3 tokens): %q", line)
  65                 }
  66                 for _, token := range tokens[1:] {
  67                         if !blockdigest.LocatorPattern.MatchString(token) {
  68                                 // FIXME: ensure it's a file token
  69                                 break
  70                         }
  71                         // FIXME: shouldn't assume 32 char hash
  72                         if i := strings.IndexRune(token[33:], '+'); i >= 0 {
  73                                 token = token[:33+i]
  74                         }
  75                         sds = append(sds, SizedDigest(token))
  76                 }
  77         }
  78         return sds, scanner.Err()
  79 }
  80
  81 type CollectionList struct {
  82         Items          []Collection `json:"items"`
  83         ItemsAvailable int          `json:"items_available"`
  84         Offset         int          `json:"offset"`
  85         Limit          int          `json:"limit"`
  86 }