services/api/app/models/collection.rb

   1 class Collection < ArvadosModel
   2   include HasUuid
   3   include KindAndEtag
   4   include CommonApiTemplate
   5
   6   api_accessible :user, extend: :common do |t|
   7     t.add :data_size
   8     t.add :files
   9   end
  10
  11   api_accessible :with_data, extend: :user do |t|
  12     t.add :manifest_text
  13   end
  14
  15   def redundancy_status
  16     if redundancy_confirmed_as.nil?
  17       'unconfirmed'
  18     elsif redundancy_confirmed_as < redundancy
  19       'degraded'
  20     else
  21       if redundancy_confirmed_at.nil?
  22         'unconfirmed'
  23       elsif Time.now - redundancy_confirmed_at < 7.days
  24         'OK'
  25       else
  26         'stale'
  27       end
  28     end
  29   end
  30
  31   def assign_uuid
  32     if self.manifest_text.nil? and self.uuid.nil?
  33       super
  34     elsif self.manifest_text and self.uuid
  35       self.uuid.gsub! /\+.*/, ''
  36       if self.uuid == Digest::MD5.hexdigest(self.manifest_text)
  37         self.uuid.gsub! /$/, '+' + self.manifest_text.length.to_s
  38         true
  39       else
  40         errors.add :uuid, 'does not match checksum of manifest_text'
  41         false
  42       end
  43     elsif self.manifest_text
  44       errors.add :uuid, 'not supplied (must match checksum of manifest_text)'
  45       false
  46     else
  47       errors.add :manifest_text, 'not supplied'
  48       false
  49     end
  50   end
  51
  52   def data_size
  53     inspect_manifest_text if @data_size.nil? or manifest_text_changed?
  54     @data_size
  55   end
  56
  57   def files
  58     inspect_manifest_text if @files.nil? or manifest_text_changed?
  59     @files
  60   end
  61
  62   def inspect_manifest_text
  63     if !manifest_text
  64       @data_size = false
  65       @files = []
  66       return
  67     end
  68
  69     #normalized_manifest = ""
  70     #IO.popen(['arv-normalize'], 'w+b') do |io|
  71     #  io.write manifest_text
  72     #  io.close_write
  73     #  while buf = io.read(2**20)
  74     #    normalized_manifest += buf
  75     #  end
  76     #end
  77
  78     @data_size = 0
  79     tmp = {}
  80
  81     manifest_text.split("\n").each do |stream|
  82       toks = stream.split(" ")
  83
  84       stream = toks[0].gsub /\\(\\|[0-7]{3})/ do |escape_sequence|
  85         case $1
  86         when '\\' '\\'
  87         else $1.to_i(8).chr
  88         end
  89       end
  90
  91       toks[1..-1].each do |tok|
  92         if (re = tok.match /^[0-9a-f]{32}/)
  93           blocksize = nil
  94           tok.split('+')[1..-1].each do |hint|
  95             if !blocksize and hint.match /^\d+$/
  96               blocksize = hint.to_i
  97             end
  98             if (re = hint.match /^GS(\d+)$/)
  99               blocksize = re[1].to_i
 100             end
 101           end
 102           @data_size = false if !blocksize
 103           @data_size += blocksize if @data_size
 104         else
 105           if (re = tok.match /^(\d+):(\d+):(\S+)$/)
 106             filename = re[3].gsub /\\(\\|[0-7]{3})/ do |escape_sequence|
 107               case $1
 108               when '\\' '\\'
 109               else $1.to_i(8).chr
 110               end
 111             end
 112             fn = stream + '/' + filename
 113             i = re[2].to_i
 114             if tmp[fn]
 115               tmp[fn] += i
 116             else
 117               tmp[fn] = i
 118             end
 119           end
 120         end
 121       end
 122     end
 123
 124     @files = []
 125     tmp.each do |k, v|
 126       re = k.match(/^(.+)\/(.+)/)
 127       @files << [re[1], re[2], v]
 128     end
 129   end
 130
 131   def self.uuid_like_pattern
 132     "________________________________+%"
 133   end
 134
 135   def self.normalize_uuid uuid
 136     hash_part = nil
 137     size_part = nil
 138     uuid.split('+').each do |token|
 139       if token.match /^[0-9a-f]{32,}$/
 140         raise "uuid #{uuid} has multiple hash parts" if hash_part
 141         hash_part = token
 142       elsif token.match /^\d+$/
 143         raise "uuid #{uuid} has multiple size parts" if size_part
 144         size_part = token
 145       end
 146     end
 147     raise "uuid #{uuid} has no hash part" if !hash_part
 148     [hash_part, size_part].compact.join '+'
 149   end
 150
 151   def self.uuids_for_docker_image(search_term, search_tag=nil, readers=nil)
 152     readers ||= [Thread.current[:user]]
 153     base_search = Link.
 154       readable_by(*readers).
 155       readable_by(*readers, table_name: "collections").
 156       joins("JOIN collections ON links.head_uuid = collections.uuid").
 157       order("links.created_at DESC")
 158
 159     # If the search term is a Collection locator with an associated
 160     # Docker image hash link, return that Collection.
 161     coll_matches = base_search.
 162       where(link_class: "docker_image_hash", collections: {uuid: search_term})
 163     if match = coll_matches.first
 164       return [match.head_uuid]
 165     end
 166
 167     # Find Collections with matching Docker image repository+tag pairs.
 168     matches = base_search.
 169       where(link_class: "docker_image_repo+tag",
 170             name: "#{search_term}:#{search_tag || 'latest'}")
 171
 172     # If that didn't work, find Collections with matching Docker image hashes.
 173     if matches.empty?
 174       matches = base_search.
 175         where("link_class = ? and name LIKE ?",
 176               "docker_image_hash", "#{search_term}%")
 177     end
 178
 179     # Generate an order key for each result.  We want to order the results
 180     # so that anything with an image timestamp is considered more recent than
 181     # anything without; then we use the link's created_at as a tiebreaker.
 182     uuid_timestamps = {}
 183     matches.find_each do |link|
 184       uuid_timestamps[link.head_uuid] =
 185         [(-link.properties["image_timestamp"].to_datetime.to_i rescue 0),
 186          -link.created_at.to_i]
 187     end
 188     uuid_timestamps.keys.sort_by { |uuid| uuid_timestamps[uuid] }
 189   end
 190
 191   def self.for_latest_docker_image(search_term, search_tag=nil, readers=nil)
 192     image_uuid = uuids_for_docker_image(search_term, search_tag, readers).first
 193     if image_uuid.nil?
 194       nil
 195     else
 196       find_by_uuid(image_uuid)
 197     end
 198   end
 199 end