Merge branch 'master' into 3052-crunch-log-stdout
[arvados.git] / services / api / app / models / node.rb
index 512f0e0a594d235ca5d180eb21da8fd8dc9109f8..c791f8e25595109f124216a1ad9648f763a40704 100644 (file)
@@ -3,9 +3,16 @@ class Node < ArvadosModel
   include KindAndEtag
   include CommonApiTemplate
   serialize :info, Hash
+  serialize :properties, Hash
   before_validation :ensure_ping_secret
   after_update :dnsmasq_update
 
+  # Only a controller can figure out whether or not the current API tokens
+  # have access to the associated Job.  They're expected to set
+  # job_readable=true if the Job UUID can be included in the API response.
+  belongs_to(:job, foreign_key: :job_uuid, primary_key: :uuid)
+  attr_accessor :job_readable
+
   MAX_SLOTS = 64
 
   @@confdir = Rails.configuration.dnsmasq_conf_dir
@@ -19,7 +26,9 @@ class Node < ArvadosModel
     t.add :last_ping_at
     t.add :slot_number
     t.add :status
+    t.add :api_job_uuid, as: :job_uuid
     t.add :crunch_worker_state
+    t.add :properties
   end
   api_accessible :superuser, :extend => :user do |t|
     t.add :first_ping_at
@@ -27,17 +36,17 @@ class Node < ArvadosModel
     t.add lambda { |x| @@nameservers }, :as => :nameservers
   end
 
-  def info
-    @info ||= Hash.new
-    super
-  end
-
   def domain
     super || @@domain
   end
 
+  def api_job_uuid
+    job_readable ? job_uuid : nil
+  end
+
   def crunch_worker_state
-    case self.info.andand[:slurm_state]
+    return 'down' if slot_number.nil?
+    case self.info.andand['slurm_state']
     when 'alloc', 'comp'
       'busy'
     when 'idle'
@@ -64,8 +73,8 @@ class Node < ArvadosModel
   def ping(o)
     raise "must have :ip and :ping_secret" unless o[:ip] and o[:ping_secret]
 
-    if o[:ping_secret] != self.info[:ping_secret]
-      logger.info "Ping: secret mismatch: received \"#{o[:ping_secret]}\" != \"#{self.info[:ping_secret]}\""
+    if o[:ping_secret] != self.info['ping_secret']
+      logger.info "Ping: secret mismatch: received \"#{o[:ping_secret]}\" != \"#{self.info['ping_secret']}\""
       raise ArvadosModel::UnauthorizedError.new("Incorrect ping_secret")
     end
     self.last_ping_at = Time.now
@@ -81,16 +90,16 @@ class Node < ArvadosModel
 
     # Record instance ID if not already known
     if o[:ec2_instance_id]
-      if !self.info[:ec2_instance_id] 
-        self.info[:ec2_instance_id] = o[:ec2_instance_id]
+      if !self.info['ec2_instance_id']
+        self.info['ec2_instance_id'] = o[:ec2_instance_id]
         if (Rails.configuration.compute_node_ec2_tag_enable rescue true)
           tag_cmd = ("ec2-create-tags #{o[:ec2_instance_id]} " +
                      "--tag 'Name=#{self.uuid}'")
           `#{tag_cmd}`
         end
-      elsif self.info[:ec2_instance_id] != o[:ec2_instance_id]
+      elsif self.info['ec2_instance_id'] != o[:ec2_instance_id]
         logger.debug "Multiple nodes have credentials for #{self.uuid}"
-        raise "#{self.uuid} is already running at #{self.info[:ec2_instance_id]} so rejecting ping from #{o[:ec2_instance_id]}"
+        raise "#{self.uuid} is already running at #{self.info['ec2_instance_id']} so rejecting ping from #{o[:ec2_instance_id]}"
       end
     end
 
@@ -108,19 +117,28 @@ class Node < ArvadosModel
         raise "No available node slots" if try_slot == MAX_SLOTS
       end while true
       self.hostname = self.class.hostname_for_slot(self.slot_number)
-      if info[:ec2_instance_id]
+      if info['ec2_instance_id']
         if (Rails.configuration.compute_node_ec2_tag_enable rescue true)
-          `ec2-create-tags #{self.info[:ec2_instance_id]} --tag 'hostname=#{self.hostname}'`
+          `ec2-create-tags #{self.info['ec2_instance_id']} --tag 'hostname=#{self.hostname}'`
         end
       end
     end
 
+    # Record other basic stats
+    ['total_cpu_cores', 'total_ram_mb', 'total_scratch_mb'].each do |key|
+      if value = (o[key] or o[key.to_sym])
+        self.properties[key] = value.to_i
+      else
+        self.properties.delete(key)
+      end
+    end
+
     save!
   end
 
   def start!(ping_url_method)
     ensure_permission_to_save
-    ping_url = ping_url_method.call({ id: self.uuid, ping_secret: self.info[:ping_secret] })
+    ping_url = ping_url_method.call({ id: self.uuid, ping_secret: self.info['ping_secret'] })
     if (Rails.configuration.compute_node_ec2run_args and
         Rails.configuration.compute_node_ami)
       ec2_args = ["--user-data '#{ping_url}'",
@@ -138,23 +156,23 @@ class Node < ArvadosModel
       ec2run_cmd = ''
       ec2spot_cmd = ''
     end
-    self.info[:ec2_run_command] = ec2run_cmd
-    self.info[:ec2_spot_command] = ec2spot_cmd
-    self.info[:ec2_start_command] = ec2spot_cmd
+    self.info['ec2_run_command'] = ec2run_cmd
+    self.info['ec2_spot_command'] = ec2spot_cmd
+    self.info['ec2_start_command'] = ec2spot_cmd
     logger.info "#{self.uuid} ec2_start_command= #{ec2spot_cmd.inspect}"
     result = `#{ec2spot_cmd} 2>&1`
-    self.info[:ec2_start_result] = result
+    self.info['ec2_start_result'] = result
     logger.info "#{self.uuid} ec2_start_result= #{result.inspect}"
     result.match(/INSTANCE\s*(i-[0-9a-f]+)/) do |m|
       instance_id = m[1]
-      self.info[:ec2_instance_id] = instance_id
+      self.info['ec2_instance_id'] = instance_id
       if (Rails.configuration.compute_node_ec2_tag_enable rescue true)
         `ec2-create-tags #{instance_id} --tag 'Name=#{self.uuid}'`
       end
     end
     result.match(/SPOTINSTANCEREQUEST\s*(sir-[0-9a-f]+)/) do |m|
       sir_id = m[1]
-      self.info[:ec2_sir_id] = sir_id
+      self.info['ec2_sir_id'] = sir_id
       if (Rails.configuration.compute_node_ec2_tag_enable rescue true)
         `ec2-create-tags #{sir_id} --tag 'Name=#{self.uuid}'`
       end
@@ -165,7 +183,7 @@ class Node < ArvadosModel
   protected
 
   def ensure_ping_secret
-    self.info[:ping_secret] ||= rand(2**256).to_s(36)
+    self.info['ping_secret'] ||= rand(2**256).to_s(36)
   end
 
   def dnsmasq_update