services/api/app/models/node.rb

   1 class Node < ArvadosModel
   2   include HasUuid
   3   include KindAndEtag
   4   include CommonApiTemplate
   5   serialize :info, Hash
   6   serialize :properties, Hash
   7   before_validation :ensure_ping_secret
   8   after_update :dns_server_update
   9
  10   # Only a controller can figure out whether or not the current API tokens
  11   # have access to the associated Job.  They're expected to set
  12   # job_readable=true if the Job UUID can be included in the API response.
  13   belongs_to(:job, foreign_key: :job_uuid, primary_key: :uuid)
  14   attr_accessor :job_readable
  15
  16   UNUSED_NODE_IP = '127.40.4.0'
  17
  18   api_accessible :user, :extend => :common do |t|
  19     t.add :hostname
  20     t.add :domain
  21     t.add :ip_address
  22     t.add :last_ping_at
  23     t.add :slot_number
  24     t.add :status
  25     t.add :api_job_uuid, as: :job_uuid
  26     t.add :crunch_worker_state
  27     t.add :properties
  28   end
  29   api_accessible :superuser, :extend => :user do |t|
  30     t.add :first_ping_at
  31     t.add :info
  32     t.add lambda { |x| Rails.configuration.compute_node_nameservers }, :as => :nameservers
  33   end
  34
  35   after_initialize do
  36     @bypass_arvados_authorization = false
  37   end
  38
  39   def domain
  40     super || Rails.configuration.compute_node_domain
  41   end
  42
  43   def api_job_uuid
  44     job_readable ? job_uuid : nil
  45   end
  46
  47   def crunch_worker_state
  48     return 'down' if slot_number.nil?
  49     case self.info.andand['slurm_state']
  50     when 'alloc', 'comp', 'mix', 'drng'
  51       'busy'
  52     when 'idle'
  53       'idle'
  54     else
  55       'down'
  56     end
  57   end
  58
  59   def status
  60     if !self.last_ping_at
  61       if db_current_time - self.created_at > 5.minutes
  62         'startup-fail'
  63       else
  64         'pending'
  65       end
  66     elsif db_current_time - self.last_ping_at > 1.hours
  67       'missing'
  68     else
  69       'running'
  70     end
  71   end
  72
  73   def ping(o)
  74     raise "must have :ip and :ping_secret" unless o[:ip] and o[:ping_secret]
  75
  76     if o[:ping_secret] != self.info['ping_secret']
  77       logger.info "Ping: secret mismatch: received \"#{o[:ping_secret]}\" != \"#{self.info['ping_secret']}\""
  78       raise ArvadosModel::UnauthorizedError.new("Incorrect ping_secret")
  79     end
  80
  81     current_time = db_current_time
  82     self.last_ping_at = current_time
  83
  84     @bypass_arvados_authorization = true
  85
  86     # Record IP address
  87     if self.ip_address.nil?
  88       logger.info "#{self.uuid} ip_address= #{o[:ip]}"
  89       self.ip_address = o[:ip]
  90       self.first_ping_at = current_time
  91     end
  92
  93     # Record instance ID if not already known
  94     if o[:ec2_instance_id]
  95       if !self.info['ec2_instance_id']
  96         self.info['ec2_instance_id'] = o[:ec2_instance_id]
  97       elsif self.info['ec2_instance_id'] != o[:ec2_instance_id]
  98         logger.debug "Multiple nodes have credentials for #{self.uuid}"
  99         raise "#{self.uuid} is already running at #{self.info['ec2_instance_id']} so rejecting ping from #{o[:ec2_instance_id]}"
 100       end
 101     end
 102
 103     # Assign slot_number
 104     if self.slot_number.nil?
 105       try_slot = 1
 106       begin
 107         self.slot_number = try_slot
 108         begin
 109           self.save!
 110           break
 111         rescue ActiveRecord::RecordNotUnique
 112           try_slot += 1
 113         end
 114         raise "No available node slots" if try_slot == Rails.configuration.max_compute_nodes
 115       end while true
 116     end
 117
 118     # Assign hostname
 119     if self.hostname.nil? and Rails.configuration.assign_node_hostname
 120       self.hostname = self.class.hostname_for_slot(self.slot_number)
 121     end
 122
 123     # Record other basic stats
 124     ['total_cpu_cores', 'total_ram_mb', 'total_scratch_mb'].each do |key|
 125       if value = (o[key] or o[key.to_sym])
 126         self.properties[key] = value.to_i
 127       else
 128         self.properties.delete(key)
 129       end
 130     end
 131
 132     save!
 133   end
 134
 135   protected
 136
 137   def ensure_ping_secret
 138     self.info['ping_secret'] ||= rand(2**256).to_s(36)
 139   end
 140
 141   def dns_server_update
 142     if ip_address_changed? && ip_address
 143       Node.where('id != ? and ip_address = ?',
 144                  id, ip_address).each do |stale_node|
 145         # One or more(!) stale node records have the same IP address
 146         # as the new node. Clear the ip_address field on the stale
 147         # nodes. Otherwise, we (via SLURM) might inadvertently connect
 148         # to the new node using the old node's hostname.
 149         stale_node.update_attributes!(ip_address: nil)
 150       end
 151     end
 152     if hostname_was && hostname_changed?
 153       self.class.dns_server_update(hostname_was, UNUSED_NODE_IP)
 154     end
 155     if hostname && (hostname_changed? || ip_address_changed?)
 156       self.class.dns_server_update(hostname, ip_address || UNUSED_NODE_IP)
 157     end
 158   end
 159
 160   def self.dns_server_update hostname, ip_address
 161     ok = true
 162
 163     ptr_domain = ip_address.
 164       split('.').reverse.join('.').concat('.in-addr.arpa')
 165
 166     template_vars = {
 167       hostname: hostname,
 168       uuid_prefix: Rails.configuration.uuid_prefix,
 169       ip_address: ip_address,
 170       ptr_domain: ptr_domain,
 171     }
 172
 173     if Rails.configuration.dns_server_conf_dir and Rails.configuration.dns_server_conf_template
 174       begin
 175         begin
 176           template = IO.read(Rails.configuration.dns_server_conf_template)
 177         rescue => e
 178           logger.error "Reading #{Rails.configuration.dns_server_conf_template}: #{e.message}"
 179           raise
 180         end
 181
 182         hostfile = File.join Rails.configuration.dns_server_conf_dir, "#{hostname}.conf"
 183         File.open hostfile+'.tmp', 'w' do |f|
 184           f.puts template % template_vars
 185         end
 186         File.rename hostfile+'.tmp', hostfile
 187       rescue => e
 188         logger.error "Writing #{hostfile}: #{e.message}"
 189         ok = false
 190       end
 191     end
 192
 193     if Rails.configuration.dns_server_update_command
 194       cmd = Rails.configuration.dns_server_update_command % template_vars
 195       if not system cmd
 196         logger.error "dns_server_update_command #{cmd.inspect} failed: #{$?}"
 197         ok = false
 198       end
 199     end
 200
 201     if Rails.configuration.dns_server_conf_dir and Rails.configuration.dns_server_reload_command
 202       restartfile = File.join(Rails.configuration.dns_server_conf_dir, 'restart.txt')
 203       begin
 204         File.open(restartfile, 'w') do |f|
 205           # Typically, this is used to trigger a dns server restart
 206           f.puts Rails.configuration.dns_server_reload_command
 207         end
 208       rescue => e
 209         logger.error "Unable to write #{restartfile}: #{e.message}"
 210         ok = false
 211       end
 212     end
 213
 214     ok
 215   end
 216
 217   def self.hostname_for_slot(slot_number)
 218     config = Rails.configuration.assign_node_hostname
 219
 220     return nil if !config
 221
 222     sprintf(config, {:slot_number => slot_number})
 223   end
 224
 225   # At startup, make sure all DNS entries exist.  Otherwise, slurmctld
 226   # will refuse to start.
 227   if Rails.configuration.dns_server_conf_dir and Rails.configuration.dns_server_conf_template and Rails.configuration.assign_node_hostname
 228     (0..Rails.configuration.max_compute_nodes-1).each do |slot_number|
 229       hostname = hostname_for_slot(slot_number)
 230       hostfile = File.join Rails.configuration.dns_server_conf_dir, "#{hostname}.conf"
 231       if !File.exist? hostfile
 232         n = Node.where(:slot_number => slot_number).first
 233         if n.nil? or n.ip_address.nil?
 234           dns_server_update(hostname, UNUSED_NODE_IP)
 235         else
 236           dns_server_update(hostname, n.ip_address)
 237         end
 238       end
 239     end
 240   end
 241
 242   def permission_to_update
 243     @bypass_arvados_authorization or super
 244   end
 245
 246   def permission_to_create
 247     current_user and current_user.is_admin
 248   end
 249 end