services/api/app/models/node.rb

   1 class Node < ArvadosModel
   2   include HasUuid
   3   include KindAndEtag
   4   include CommonApiTemplate
   5   serialize :info, Hash
   6   serialize :properties, Hash
   7   before_validation :ensure_ping_secret
   8   after_update :dns_server_update
   9
  10   # Only a controller can figure out whether or not the current API tokens
  11   # have access to the associated Job.  They're expected to set
  12   # job_readable=true if the Job UUID can be included in the API response.
  13   belongs_to(:job, foreign_key: :job_uuid, primary_key: :uuid)
  14   attr_accessor :job_readable
  15
  16   UNUSED_NODE_IP = '127.40.4.0'
  17
  18   api_accessible :user, :extend => :common do |t|
  19     t.add :hostname
  20     t.add :domain
  21     t.add :ip_address
  22     t.add :last_ping_at
  23     t.add :slot_number
  24     t.add :status
  25     t.add :api_job_uuid, as: :job_uuid
  26     t.add :crunch_worker_state
  27     t.add :properties
  28   end
  29   api_accessible :superuser, :extend => :user do |t|
  30     t.add :first_ping_at
  31     t.add :info
  32     t.add lambda { |x| Rails.configuration.compute_node_nameservers }, :as => :nameservers
  33   end
  34
  35   def domain
  36     super || Rails.configuration.compute_node_domain
  37   end
  38
  39   def api_job_uuid
  40     job_readable ? job_uuid : nil
  41   end
  42
  43   def crunch_worker_state
  44     return 'down' if slot_number.nil?
  45     case self.info.andand['slurm_state']
  46     when 'alloc', 'comp'
  47       'busy'
  48     when 'idle'
  49       'idle'
  50     else
  51       'down'
  52     end
  53   end
  54
  55   def status
  56     if !self.last_ping_at
  57       if db_current_time - self.created_at > 5.minutes
  58         'startup-fail'
  59       else
  60         'pending'
  61       end
  62     elsif db_current_time - self.last_ping_at > 1.hours
  63       'missing'
  64     else
  65       'running'
  66     end
  67   end
  68
  69   def ping(o)
  70     raise "must have :ip and :ping_secret" unless o[:ip] and o[:ping_secret]
  71
  72     if o[:ping_secret] != self.info['ping_secret']
  73       logger.info "Ping: secret mismatch: received \"#{o[:ping_secret]}\" != \"#{self.info['ping_secret']}\""
  74       raise ArvadosModel::UnauthorizedError.new("Incorrect ping_secret")
  75     end
  76
  77     current_time = db_current_time
  78     self.last_ping_at = current_time
  79
  80     @bypass_arvados_authorization = true
  81
  82     # Record IP address
  83     if self.ip_address.nil?
  84       logger.info "#{self.uuid} ip_address= #{o[:ip]}"
  85       self.ip_address = o[:ip]
  86       self.first_ping_at = current_time
  87     end
  88
  89     # Record instance ID if not already known
  90     if o[:ec2_instance_id]
  91       if !self.info['ec2_instance_id']
  92         self.info['ec2_instance_id'] = o[:ec2_instance_id]
  93       elsif self.info['ec2_instance_id'] != o[:ec2_instance_id]
  94         logger.debug "Multiple nodes have credentials for #{self.uuid}"
  95         raise "#{self.uuid} is already running at #{self.info['ec2_instance_id']} so rejecting ping from #{o[:ec2_instance_id]}"
  96       end
  97     end
  98
  99     # Assign slot_number
 100     if self.slot_number.nil?
 101       try_slot = 0
 102       begin
 103         self.slot_number = try_slot
 104         begin
 105           self.save!
 106           break
 107         rescue ActiveRecord::RecordNotUnique
 108           try_slot += 1
 109         end
 110         raise "No available node slots" if try_slot == Rails.configuration.max_compute_nodes
 111       end while true
 112     end
 113
 114     # Assign hostname
 115     if self.hostname.nil? and Rails.configuration.assign_node_hostname
 116       self.hostname = self.class.hostname_for_slot(self.slot_number)
 117     end
 118
 119     # Record other basic stats
 120     ['total_cpu_cores', 'total_ram_mb', 'total_scratch_mb'].each do |key|
 121       if value = (o[key] or o[key.to_sym])
 122         self.properties[key] = value.to_i
 123       else
 124         self.properties.delete(key)
 125       end
 126     end
 127
 128     save!
 129   end
 130
 131   protected
 132
 133   def ensure_ping_secret
 134     self.info['ping_secret'] ||= rand(2**256).to_s(36)
 135   end
 136
 137   def dns_server_update
 138     if hostname_changed? && hostname_was
 139       self.class.dns_server_update(hostname_was, UNUSED_NODE_IP)
 140     end
 141     if self.hostname_changed? or self.ip_address_changed?
 142       if not self.ip_address.nil?
 143         stale_conflicting_nodes = Node.where('id != ? and ip_address = ? and last_ping_at < ?',self.id,self.ip_address,10.minutes.ago)
 144         if not stale_conflicting_nodes.empty?
 145           # One or more stale compute node records have the same IP address as the new node.
 146           # Clear the ip_address field on the stale nodes.
 147           stale_conflicting_nodes.each do |stale_node|
 148             stale_node.ip_address = nil
 149             stale_node.save!
 150           end
 151         end
 152       end
 153       if hostname
 154         self.class.dns_server_update(hostname, ip_address || UNUSED_NODE_IP)
 155       end
 156     end
 157   end
 158
 159   def self.dns_server_update hostname, ip_address
 160     ok = true
 161
 162     ptr_domain = ip_address.
 163       split('.').reverse.join('.').concat('.in-addr.arpa')
 164
 165     template_vars = {
 166       hostname: hostname,
 167       uuid_prefix: Rails.configuration.uuid_prefix,
 168       ip_address: ip_address,
 169       ptr_domain: ptr_domain,
 170     }
 171
 172     if Rails.configuration.dns_server_conf_dir and Rails.configuration.dns_server_conf_template
 173       begin
 174         begin
 175           template = IO.read(Rails.configuration.dns_server_conf_template)
 176         rescue => e
 177           logger.error "Reading #{Rails.configuration.dns_server_conf_template}: #{e.message}"
 178           raise
 179         end
 180
 181         hostfile = File.join Rails.configuration.dns_server_conf_dir, "#{hostname}.conf"
 182         File.open hostfile+'.tmp', 'w' do |f|
 183           f.puts template % template_vars
 184         end
 185         File.rename hostfile+'.tmp', hostfile
 186       rescue => e
 187         logger.error "Writing #{hostfile}: #{e.message}"
 188         ok = false
 189       end
 190     end
 191
 192     if Rails.configuration.dns_server_update_command
 193       cmd = Rails.configuration.dns_server_update_command % template_vars
 194       if not system cmd
 195         logger.error "dns_server_update_command #{cmd.inspect} failed: #{$?}"
 196         ok = false
 197       end
 198     end
 199
 200     if Rails.configuration.dns_server_conf_dir and Rails.configuration.dns_server_reload_command
 201       restartfile = File.join(Rails.configuration.dns_server_conf_dir, 'restart.txt')
 202       begin
 203         File.open(restartfile, 'w') do |f|
 204           # Typically, this is used to trigger a dns server restart
 205           f.puts Rails.configuration.dns_server_reload_command
 206         end
 207       rescue => e
 208         logger.error "Unable to write #{restartfile}: #{e.message}"
 209         ok = false
 210       end
 211     end
 212
 213     ok
 214   end
 215
 216   def self.hostname_for_slot(slot_number)
 217     config = Rails.configuration.assign_node_hostname
 218
 219     return nil if !config
 220
 221     sprintf(config, {:slot_number => slot_number})
 222   end
 223
 224   # At startup, make sure all DNS entries exist.  Otherwise, slurmctld
 225   # will refuse to start.
 226   if Rails.configuration.dns_server_conf_dir and Rails.configuration.dns_server_conf_template and Rails.configuration.assign_node_hostname
 227     (0..Rails.configuration.max_compute_nodes-1).each do |slot_number|
 228       hostname = hostname_for_slot(slot_number)
 229       hostfile = File.join Rails.configuration.dns_server_conf_dir, "#{hostname}.conf"
 230       if !File.exists? hostfile
 231         n = Node.where(:slot_number => slot_number).first
 232         if n.nil? or n.ip_address.nil?
 233           dns_server_update(hostname, UNUSED_NODE_IP)
 234         else
 235           dns_server_update(hostname, n.ip_address)
 236         end
 237       end
 238     end
 239   end
 240
 241   def permission_to_update
 242     @bypass_arvados_authorization or super
 243   end
 244
 245   def permission_to_create
 246     current_user and current_user.is_admin
 247   end
 248 end