services/api/app/models/container_request.rb

   1 require 'whitelist_update'
   2
   3 class ContainerRequest < ArvadosModel
   4   include HasUuid
   5   include KindAndEtag
   6   include CommonApiTemplate
   7   include WhitelistUpdate
   8
   9   serialize :properties, Hash
  10   serialize :environment, Hash
  11   serialize :mounts, Hash
  12   serialize :runtime_constraints, Hash
  13   serialize :command, Array
  14
  15   before_validation :fill_field_defaults, :if => :new_record?
  16   before_validation :set_container
  17   validates :command, :container_image, :output_path, :cwd, :presence => true
  18   validate :validate_state_change
  19   validate :validate_change
  20   validate :validate_runtime_constraints
  21   after_save :update_priority
  22   before_create :set_requesting_container_uuid
  23
  24   api_accessible :user, extend: :common do |t|
  25     t.add :command
  26     t.add :container_count_max
  27     t.add :container_image
  28     t.add :container_uuid
  29     t.add :cwd
  30     t.add :description
  31     t.add :environment
  32     t.add :expires_at
  33     t.add :filters
  34     t.add :mounts
  35     t.add :name
  36     t.add :output_path
  37     t.add :priority
  38     t.add :properties
  39     t.add :requesting_container_uuid
  40     t.add :runtime_constraints
  41     t.add :state
  42   end
  43
  44   # Supported states for a container request
  45   States =
  46     [
  47      (Uncommitted = 'Uncommitted'),
  48      (Committed = 'Committed'),
  49      (Final = 'Final'),
  50     ]
  51
  52   State_transitions = {
  53     nil => [Uncommitted, Committed],
  54     Uncommitted => [Committed],
  55     Committed => [Final]
  56   }
  57
  58   def state_transitions
  59     State_transitions
  60   end
  61
  62   def skip_uuid_read_permission_check
  63     # XXX temporary until permissions are sorted out.
  64     %w(modified_by_client_uuid container_uuid requesting_container_uuid)
  65   end
  66
  67   # Finalize the container request after the container has
  68   # finished/cancelled.
  69   def container_completed!
  70     update_attributes!(state: ContainerRequest::Final)
  71     c = Container.find_by_uuid(container_uuid)
  72     ['output', 'log'].each do |out_type|
  73       pdh = c.send(out_type)
  74       next if pdh.nil?
  75       manifest = Collection.where(portable_data_hash: pdh).first.manifest_text
  76       Collection.create!(owner_uuid: owner_uuid,
  77                          manifest_text: manifest,
  78                          portable_data_hash: pdh,
  79                          name: "Container #{out_type} for request #{uuid}",
  80                          properties: {
  81                            'type' => out_type,
  82                            'container_request' => uuid,
  83                          })
  84     end
  85   end
  86
  87   protected
  88
  89   def fill_field_defaults
  90     self.state ||= Uncommitted
  91     self.environment ||= {}
  92     self.runtime_constraints ||= {}
  93     self.mounts ||= {}
  94     self.cwd ||= "."
  95   end
  96
  97   # Create a new container (or find an existing one) to satisfy this
  98   # request.
  99   def resolve
 100     c_mounts = mounts_for_container
 101     c_runtime_constraints = runtime_constraints_for_container
 102     c_container_image = container_image_for_container
 103     c = act_as_system_user do
 104       c_attrs = {command: self.command,
 105                  cwd: self.cwd,
 106                  environment: self.environment,
 107                  output_path: self.output_path,
 108                  container_image: c_container_image,
 109                  mounts: c_mounts,
 110                  runtime_constraints: c_runtime_constraints}
 111       reusable = Container.find_reusable(c_attrs)
 112       if not reusable.nil?
 113         reusable
 114       else
 115         Container.create!(c_attrs)
 116       end
 117     end
 118     self.container_uuid = c.uuid
 119   end
 120
 121   # Return a runtime_constraints hash that complies with
 122   # self.runtime_constraints but is suitable for saving in a container
 123   # record, i.e., has specific values instead of ranges.
 124   #
 125   # Doing this as a step separate from other resolutions, like "git
 126   # revision range to commit hash", makes sense only when there is no
 127   # opportunity to reuse an existing container (e.g., container reuse
 128   # is not implemented yet, or we have already found that no existing
 129   # containers are suitable).
 130   def runtime_constraints_for_container
 131     rc = {}
 132     runtime_constraints.each do |k, v|
 133       if v.is_a? Array
 134         rc[k] = v[0]
 135       else
 136         rc[k] = v
 137       end
 138     end
 139     rc
 140   end
 141
 142   # Return a mounts hash suitable for a Container, i.e., with every
 143   # readonly collection UUID resolved to a PDH.
 144   def mounts_for_container
 145     c_mounts = {}
 146     mounts.each do |k, mount|
 147       mount = mount.dup
 148       c_mounts[k] = mount
 149       if mount['kind'] != 'collection'
 150         next
 151       end
 152       if (uuid = mount.delete 'uuid')
 153         c = Collection.
 154           readable_by(current_user).
 155           where(uuid: uuid).
 156           select(:portable_data_hash).
 157           first
 158         if !c
 159           raise ArvadosModel::UnresolvableContainerError.new "cannot mount collection #{uuid.inspect}: not found"
 160         end
 161         if mount['portable_data_hash'].nil?
 162           # PDH not supplied by client
 163           mount['portable_data_hash'] = c.portable_data_hash
 164         elsif mount['portable_data_hash'] != c.portable_data_hash
 165           # UUID and PDH supplied by client, but they don't agree
 166           raise ArgumentError.new "cannot mount collection #{uuid.inspect}: current portable_data_hash #{c.portable_data_hash.inspect} does not match #{c['portable_data_hash'].inspect} in request"
 167         end
 168       end
 169     end
 170     return c_mounts
 171   end
 172
 173   # Return a container_image PDH suitable for a Container.
 174   def container_image_for_container
 175     coll = Collection.for_latest_docker_image(container_image)
 176     if !coll
 177       raise ArvadosModel::UnresolvableContainerError.new "docker image #{container_image.inspect} not found"
 178     end
 179     return coll.portable_data_hash
 180   end
 181
 182   def set_container
 183     if (container_uuid_changed? and
 184         not current_user.andand.is_admin and
 185         not container_uuid.nil?)
 186       errors.add :container_uuid, "can only be updated to nil."
 187       return false
 188     end
 189     if state_changed? and state == Committed and container_uuid.nil?
 190       resolve
 191     end
 192   end
 193
 194   def validate_runtime_constraints
 195     case self.state
 196     when Committed
 197       ['vcpus', 'ram'].each do |k|
 198         if not (runtime_constraints.include? k and
 199                 runtime_constraints[k].is_a? Integer and
 200                 runtime_constraints[k] > 0)
 201           errors.add :runtime_constraints, "#{k} must be a positive integer"
 202         end
 203       end
 204     end
 205   end
 206
 207   def validate_change
 208     permitted = [:owner_uuid]
 209
 210     case self.state
 211     when Uncommitted
 212       # Permit updating most fields
 213       permitted.push :command, :container_count_max,
 214                      :container_image, :cwd, :description, :environment,
 215                      :filters, :mounts, :name, :output_path, :priority,
 216                      :properties, :requesting_container_uuid, :runtime_constraints,
 217                      :state, :container_uuid
 218
 219     when Committed
 220       if container_uuid.nil?
 221         errors.add :container_uuid, "has not been resolved to a container."
 222       end
 223
 224       if priority.nil?
 225         errors.add :priority, "cannot be nil"
 226       end
 227
 228       # Can update priority, container count, name and description
 229       permitted.push :priority, :container_count_max, :container_uuid, :name, :description
 230
 231       if self.state_changed?
 232         # Allow create-and-commit in a single operation.
 233         permitted.push :command, :container_image, :cwd, :description, :environment,
 234                        :filters, :mounts, :name, :output_path, :properties,
 235                        :requesting_container_uuid, :runtime_constraints,
 236                        :state, :container_uuid
 237       end
 238
 239     when Final
 240       if not current_user.andand.is_admin and not (self.name_changed? || self.description_changed?)
 241         errors.add :state, "of container request can only be set to Final by system."
 242       end
 243
 244       if self.state_changed? || self.name_changed? || self.description_changed?
 245           permitted.push :state, :name, :description
 246       else
 247         errors.add :state, "does not allow updates"
 248       end
 249
 250     else
 251       errors.add :state, "invalid value"
 252     end
 253
 254     check_update_whitelist permitted
 255   end
 256
 257   def update_priority
 258     if self.state_changed? or
 259         self.priority_changed? or
 260         self.container_uuid_changed?
 261       act_as_system_user do
 262         Container.
 263           where('uuid in (?)',
 264                 [self.container_uuid_was, self.container_uuid].compact).
 265           map(&:update_priority!)
 266       end
 267     end
 268   end
 269
 270   def set_requesting_container_uuid
 271     return !new_record? if self.requesting_container_uuid   # already set
 272
 273     token_uuid = current_api_client_authorization.andand.uuid
 274     container = Container.where('auth_uuid=?', token_uuid).order('created_at desc').first
 275     self.requesting_container_uuid = container.uuid if container
 276     true
 277   end
 278 end