Merge branch '21666-provision-test-improvement'
[arvados.git] / services / api / app / models / container_request.rb
index ae50f557485c6a284303820fffc548b49108f829..9b3d427594c38c4e39cdc07934cfa928e4d8c5a6 100644 (file)
@@ -12,12 +12,15 @@ class ContainerRequest < ArvadosModel
   include CommonApiTemplate
   include WhitelistUpdate
 
-  belongs_to :container, foreign_key: :container_uuid, primary_key: :uuid
-  belongs_to :requesting_container, {
-               class_name: 'Container',
-               foreign_key: :requesting_container_uuid,
-               primary_key: :uuid,
-             }
+  belongs_to :container,
+             foreign_key: 'container_uuid',
+             primary_key: 'uuid',
+             optional: true
+  belongs_to :requesting_container,
+             class_name: 'Container',
+             foreign_key: 'requesting_container_uuid',
+             primary_key: 'uuid',
+             optional: true
 
   # Posgresql JSONB columns should NOT be declared as serialized, Rails 5
   # already know how to properly treat them.
@@ -31,6 +34,7 @@ class ContainerRequest < ArvadosModel
   serialize :runtime_constraints, Hash
   serialize :command, Array
   serialize :scheduling_parameters, Hash
+  serialize :output_glob, Array
 
   after_find :fill_container_defaults_after_find
   after_initialize { @state_was_when_initialized = self.state_was } # see finalize_if_needed
@@ -70,6 +74,7 @@ class ContainerRequest < ArvadosModel
     t.add :name
     t.add :output_name
     t.add :output_path
+    t.add :output_glob
     t.add :output_uuid
     t.add :output_ttl
     t.add :priority
@@ -101,7 +106,7 @@ class ContainerRequest < ArvadosModel
   AttrsPermittedAlways = [:owner_uuid, :state, :name, :description, :properties]
   AttrsPermittedBeforeCommit = [:command, :container_count_max,
   :container_image, :cwd, :environment, :filters, :mounts,
-  :output_path, :priority, :runtime_token,
+  :output_path, :output_glob, :priority, :runtime_token,
   :runtime_constraints, :state, :container_uuid, :use_existing,
   :scheduling_parameters, :secret_mounts, :output_name, :output_ttl,
   :output_storage_classes, :output_properties]
@@ -164,7 +169,7 @@ class ContainerRequest < ArvadosModel
         end
       elsif state == Committed
         # Behave as if the container is cancelled
-        update_attributes!(state: Final)
+        update!(state: Final)
       end
       return true
     end
@@ -228,10 +233,17 @@ class ContainerRequest < ArvadosModel
         end
       end
     end
-    update_attributes!(state: Final)
+    update!(state: Final)
   end
 
   def update_collections(container:, collections: ['log', 'output'])
+
+    # Check if parent is frozen or trashed, in which case it isn't
+    # valid to create new collections in the project, so return
+    # without creating anything.
+    owner = Group.find_by_uuid(self.owner_uuid)
+    return if owner && !owner.admin_change_permitted
+
     collections.each do |out_type|
       pdh = container.send(out_type)
       next if pdh.nil?
@@ -297,11 +309,11 @@ class ContainerRequest < ArvadosModel
   end
 
   def self.full_text_searchable_columns
-    super - ["mounts", "secret_mounts", "secret_mounts_md5", "runtime_token", "output_storage_classes"]
+    super - ["mounts", "secret_mounts", "secret_mounts_md5", "runtime_token", "output_storage_classes", "output_glob"]
   end
 
   def set_priority_zero
-    self.update_attributes!(priority: 0) if self.priority > 0 && self.state != Final
+    self.update!(priority: 0) if self.priority > 0 && self.state != Final
   end
 
   protected
@@ -316,6 +328,7 @@ class ContainerRequest < ArvadosModel
     self.container_count_max ||= Rails.configuration.Containers.MaxRetryAttempts
     self.scheduling_parameters ||= {}
     self.output_ttl ||= 0
+    self.output_glob ||= []
     self.priority ||= 0
   end
 
@@ -352,10 +365,11 @@ class ContainerRequest < ArvadosModel
       self.container_count += 1
       return if self.container_uuid_was.nil?
 
-      old_container = Container.find_by_uuid(self.container_uuid_was)
-      return if old_container.nil?
+      old_container_uuid = self.container_uuid_was
+      old_container_log = Container.where(uuid: old_container_uuid).pluck(:log).first
+      return if old_container_log.nil?
 
-      old_logs = Collection.where(portable_data_hash: old_container.log).first
+      old_logs = Collection.where(portable_data_hash: old_container_log).first
       return if old_logs.nil?
 
       log_coll = self.log_uuid.nil? ? nil : Collection.where(uuid: self.log_uuid).first
@@ -370,7 +384,7 @@ class ContainerRequest < ArvadosModel
       # copy logs from old container into CR's log collection
       src = Arv::Collection.new(old_logs.manifest_text)
       dst = Arv::Collection.new(log_coll.manifest_text)
-      dst.cp_r("./", "log for container #{old_container.uuid}", src)
+      dst.cp_r("./", "log for container #{old_container_uuid}", src)
       manifest = dst.manifest_text
 
       log_coll.assign_attributes(
@@ -431,6 +445,11 @@ class ContainerRequest < ArvadosModel
         errors.add(:environment, "must be an map of String to String but has entry #{k.class} to #{v.class}")
       end
     end
+    output_glob.each do |g|
+      if !g.is_a? String
+        errors.add(:output_glob, "must be an array of strings but has entry #{g.class}")
+      end
+    end
     [:mounts, :secret_mounts].each do |m|
       self[m].each do |k, v|
         if !k.is_a?(String) || !v.is_a?(Hash)
@@ -459,8 +478,9 @@ class ContainerRequest < ArvadosModel
 
   def validate_scheduling_parameters
     if self.state == Committed
-      if scheduling_parameters.include? 'partitions' and
-         (!scheduling_parameters['partitions'].is_a?(Array) ||
+      if scheduling_parameters.include?('partitions') and
+        !scheduling_parameters['partitions'].nil? and
+        (!scheduling_parameters['partitions'].is_a?(Array) ||
           scheduling_parameters['partitions'].reject{|x| !x.is_a?(String)}.size !=
             scheduling_parameters['partitions'].size)
             errors.add :scheduling_parameters, "partitions must be an array of strings"
@@ -561,11 +581,8 @@ class ContainerRequest < ArvadosModel
 
   def update_priority
     return unless saved_change_to_state? || saved_change_to_priority? || saved_change_to_container_uuid?
-    act_as_system_user do
-      Container.
-        where('uuid in (?)', [container_uuid_before_last_save, self.container_uuid].compact).
-        map(&:update_priority!)
-    end
+    update_priorities container_uuid_before_last_save if !container_uuid_before_last_save.nil? and container_uuid_before_last_save != self.container_uuid
+    update_priorities self.container_uuid if self.container_uuid
   end
 
   def set_requesting_container_uuid