services/api/app/models/node.rb

   1 class Node < ArvadosModel
   2   include AssignUuid
   3   include KindAndEtag
   4   include CommonApiTemplate
   5   serialize :info, Hash
   6   before_validation :ensure_ping_secret
   7   after_update :dnsmasq_update
   8
   9   MAX_SLOTS = 64
  10
  11   @@confdir = Rails.configuration.dnsmasq_conf_dir
  12   @@domain = Rails.configuration.compute_node_domain rescue `hostname --domain`.strip
  13   @@nameservers = Rails.configuration.compute_node_nameservers
  14
  15   api_accessible :user, :extend => :common do |t|
  16     t.add :hostname
  17     t.add :domain
  18     t.add :ip_address
  19     t.add :last_ping_at
  20     t.add :slot_number
  21     t.add :status
  22     t.add :crunch_worker_state
  23   end
  24   api_accessible :superuser, :extend => :user do |t|
  25     t.add :first_ping_at
  26     t.add :info
  27     t.add lambda { |x| @@nameservers }, :as => :nameservers
  28   end
  29
  30   def info
  31     @info ||= Hash.new
  32     super
  33   end
  34
  35   def domain
  36     super || @@domain
  37   end
  38
  39   def crunch_worker_state
  40     case self.info.andand[:slurm_state]
  41     when 'alloc', 'comp'
  42       'busy'
  43     when 'idle'
  44       'idle'
  45     else
  46       'down'
  47     end
  48   end
  49
  50   def status
  51     if !self.last_ping_at
  52       if Time.now - self.created_at > 5.minutes
  53         'startup-fail'
  54       else
  55         'pending'
  56       end
  57     elsif Time.now - self.last_ping_at > 1.hours
  58       'missing'
  59     else
  60       'running'
  61     end
  62   end
  63
  64   def ping(o)
  65     raise "must have :ip and :ping_secret" unless o[:ip] and o[:ping_secret]
  66
  67     if o[:ping_secret] != self.info[:ping_secret]
  68       logger.info "Ping: secret mismatch: received \"#{o[:ping_secret]}\" != \"#{self.info[:ping_secret]}\""
  69       raise ArvadosModel::UnauthorizedError.new("Incorrect ping_secret")
  70     end
  71     self.last_ping_at = Time.now
  72
  73     @bypass_arvados_authorization = true
  74
  75     # Record IP address
  76     if self.ip_address.nil?
  77       logger.info "#{self.uuid} ip_address= #{o[:ip]}"
  78       self.ip_address = o[:ip]
  79       self.first_ping_at = Time.now
  80     end
  81
  82     # Record instance ID if not already known
  83     if o[:ec2_instance_id]
  84       if !self.info[:ec2_instance_id]
  85         self.info[:ec2_instance_id] = o[:ec2_instance_id]
  86         if (Rails.configuration.compute_node_ec2_tag_enable rescue true)
  87           tag_cmd = ("ec2-create-tags #{o[:ec2_instance_id]} " +
  88                      "--tag 'Name=#{self.uuid}'")
  89           `#{tag_cmd}`
  90         end
  91       elsif self.info[:ec2_instance_id] != o[:ec2_instance_id]
  92         logger.debug "Multiple nodes have credentials for #{self.uuid}"
  93         raise "#{self.uuid} is already running at #{self.info[:ec2_instance_id]} so rejecting ping from #{o[:ec2_instance_id]}"
  94       end
  95     end
  96
  97     # Assign hostname
  98     if self.slot_number.nil?
  99       try_slot = 0
 100       begin
 101         self.slot_number = try_slot
 102         begin
 103           self.save!
 104           break
 105         rescue ActiveRecord::RecordNotUnique
 106           try_slot += 1
 107         end
 108         raise "No available node slots" if try_slot == MAX_SLOTS
 109       end while true
 110       self.hostname = self.class.hostname_for_slot(self.slot_number)
 111       if info[:ec2_instance_id]
 112         if (Rails.configuration.compute_node_ec2_tag_enable rescue true)
 113           `ec2-create-tags #{self.info[:ec2_instance_id]} --tag 'hostname=#{self.hostname}'`
 114         end
 115       end
 116     end
 117
 118     save!
 119   end
 120
 121   def start!(ping_url_method)
 122     ensure_permission_to_update
 123     ping_url = ping_url_method.call({ id: self.uuid, ping_secret: self.info[:ping_secret] })
 124     if (Rails.configuration.compute_node_ec2run_args and
 125         Rails.configuration.compute_node_ami)
 126       ec2_args = ["--user-data '#{ping_url}'",
 127                   "-t c1.xlarge -n 1",
 128                   Rails.configuration.compute_node_ec2run_args,
 129                   Rails.configuration.compute_node_ami
 130                  ]
 131       ec2run_cmd = ["ec2-run-instances",
 132                     "--client-token", self.uuid,
 133                     ec2_args].flatten.join(' ')
 134       ec2spot_cmd = ["ec2-request-spot-instances",
 135                      "-p #{Rails.configuration.compute_node_spot_bid} --type one-time",
 136                      ec2_args].flatten.join(' ')
 137     else
 138       ec2run_cmd = ''
 139       ec2spot_cmd = ''
 140     end
 141     self.info[:ec2_run_command] = ec2run_cmd
 142     self.info[:ec2_spot_command] = ec2spot_cmd
 143     self.info[:ec2_start_command] = ec2spot_cmd
 144     logger.info "#{self.uuid} ec2_start_command= #{ec2spot_cmd.inspect}"
 145     result = `#{ec2spot_cmd} 2>&1`
 146     self.info[:ec2_start_result] = result
 147     logger.info "#{self.uuid} ec2_start_result= #{result.inspect}"
 148     result.match(/INSTANCE\s*(i-[0-9a-f]+)/) do |m|
 149       instance_id = m[1]
 150       self.info[:ec2_instance_id] = instance_id
 151       if (Rails.configuration.compute_node_ec2_tag_enable rescue true)
 152         `ec2-create-tags #{instance_id} --tag 'Name=#{self.uuid}'`
 153       end
 154     end
 155     result.match(/SPOTINSTANCEREQUEST\s*(sir-[0-9a-f]+)/) do |m|
 156       sir_id = m[1]
 157       self.info[:ec2_sir_id] = sir_id
 158       if (Rails.configuration.compute_node_ec2_tag_enable rescue true)
 159         `ec2-create-tags #{sir_id} --tag 'Name=#{self.uuid}'`
 160       end
 161     end
 162     self.save!
 163   end
 164
 165   protected
 166
 167   def ensure_ping_secret
 168     self.info[:ping_secret] ||= rand(2**256).to_s(36)
 169   end
 170
 171   def dnsmasq_update
 172     if self.hostname_changed? or self.ip_address_changed?
 173       if self.hostname and self.ip_address
 174         self.class.dnsmasq_update(self.hostname, self.ip_address)
 175       end
 176     end
 177   end
 178
 179   def self.dnsmasq_update(hostname, ip_address)
 180     return unless @@confdir
 181     ptr_domain = ip_address.
 182       split('.').reverse.join('.').concat('.in-addr.arpa')
 183     hostfile = File.join @@confdir, hostname
 184     File.open hostfile, 'w' do |f|
 185       f.puts "address=/#{hostname}/#{ip_address}"
 186       f.puts "address=/#{hostname}.#{@@domain}/#{ip_address}" if @@domain
 187       f.puts "ptr-record=#{ptr_domain},#{hostname}"
 188     end
 189     File.open(File.join(@@confdir, 'restart.txt'), 'w') do |f|
 190       # this should trigger a dnsmasq restart
 191     end
 192   end
 193
 194   def self.hostname_for_slot(slot_number)
 195     "compute#{slot_number}"
 196   end
 197
 198   # At startup, make sure all DNS entries exist.  Otherwise, slurmctld
 199   # will refuse to start.
 200   if @@confdir and
 201       !File.exists? (File.join(@@confdir, hostname_for_slot(MAX_SLOTS-1)))
 202     (0..MAX_SLOTS-1).each do |slot_number|
 203       hostname = hostname_for_slot(slot_number)
 204       hostfile = File.join @@confdir, hostname
 205       if !File.exists? hostfile
 206         dnsmasq_update(hostname, '127.40.4.0')
 207       end
 208     end
 209   end
 210
 211   def permission_to_update
 212     @bypass_arvados_authorization or super
 213   end
 214
 215   def permission_to_create
 216     current_user and current_user.is_admin
 217   end
 218 end