5737: Return of Minitest
[arvados.git] / services / api / app / models / node.rb
1 class Node < ArvadosModel
2   include HasUuid
3   include KindAndEtag
4   include CommonApiTemplate
5   serialize :info, Hash
6   serialize :properties, Hash
7   before_validation :ensure_ping_secret
8   after_update :dns_server_update
9
10   # Only a controller can figure out whether or not the current API tokens
11   # have access to the associated Job.  They're expected to set
12   # job_readable=true if the Job UUID can be included in the API response.
13   belongs_to(:job, foreign_key: :job_uuid, primary_key: :uuid)
14   attr_accessor :job_readable
15
16   api_accessible :user, :extend => :common do |t|
17     t.add :hostname
18     t.add :domain
19     t.add :ip_address
20     t.add :last_ping_at
21     t.add :slot_number
22     t.add :status
23     t.add :api_job_uuid, as: :job_uuid
24     t.add :crunch_worker_state
25     t.add :properties
26   end
27   api_accessible :superuser, :extend => :user do |t|
28     t.add :first_ping_at
29     t.add :info
30     t.add lambda { |x| Rails.configuration.compute_node_nameservers }, :as => :nameservers
31   end
32
33   after_initialize do
34     @bypass_arvados_authorization = false
35   end
36
37   def domain
38     super || Rails.configuration.compute_node_domain
39   end
40
41   def api_job_uuid
42     job_readable ? job_uuid : nil
43   end
44
45   def crunch_worker_state
46     return 'down' if slot_number.nil?
47     case self.info.andand['slurm_state']
48     when 'alloc', 'comp'
49       'busy'
50     when 'idle'
51       'idle'
52     else
53       'down'
54     end
55   end
56
57   def status
58     if !self.last_ping_at
59       if db_current_time - self.created_at > 5.minutes
60         'startup-fail'
61       else
62         'pending'
63       end
64     elsif db_current_time - self.last_ping_at > 1.hours
65       'missing'
66     else
67       'running'
68     end
69   end
70
71   def ping(o)
72     raise "must have :ip and :ping_secret" unless o[:ip] and o[:ping_secret]
73
74     if o[:ping_secret] != self.info['ping_secret']
75       logger.info "Ping: secret mismatch: received \"#{o[:ping_secret]}\" != \"#{self.info['ping_secret']}\""
76       raise ArvadosModel::UnauthorizedError.new("Incorrect ping_secret")
77     end
78
79     current_time = db_current_time
80     self.last_ping_at = current_time
81
82     @bypass_arvados_authorization = true
83
84     # Record IP address
85     if self.ip_address.nil?
86       logger.info "#{self.uuid} ip_address= #{o[:ip]}"
87       self.ip_address = o[:ip]
88       self.first_ping_at = current_time
89     end
90
91     # Record instance ID if not already known
92     if o[:ec2_instance_id]
93       if !self.info['ec2_instance_id']
94         self.info['ec2_instance_id'] = o[:ec2_instance_id]
95       elsif self.info['ec2_instance_id'] != o[:ec2_instance_id]
96         logger.debug "Multiple nodes have credentials for #{self.uuid}"
97         raise "#{self.uuid} is already running at #{self.info['ec2_instance_id']} so rejecting ping from #{o[:ec2_instance_id]}"
98       end
99     end
100
101     # Assign slot_number
102     if self.slot_number.nil?
103       try_slot = 0
104       begin
105         self.slot_number = try_slot
106         begin
107           self.save!
108           break
109         rescue ActiveRecord::RecordNotUnique
110           try_slot += 1
111         end
112         raise "No available node slots" if try_slot == Rails.configuration.max_compute_nodes
113       end while true
114     end
115
116     # Assign hostname
117     if self.hostname.nil? and Rails.configuration.assign_node_hostname
118       self.hostname = self.class.hostname_for_slot(self.slot_number)
119     end
120
121     # Record other basic stats
122     ['total_cpu_cores', 'total_ram_mb', 'total_scratch_mb'].each do |key|
123       if value = (o[key] or o[key.to_sym])
124         self.properties[key] = value.to_i
125       else
126         self.properties.delete(key)
127       end
128     end
129
130     save!
131   end
132
133   protected
134
135   def ensure_ping_secret
136     self.info['ping_secret'] ||= rand(2**256).to_s(36)
137   end
138
139   def dns_server_update
140     if self.hostname_changed? or self.ip_address_changed?
141       if not self.ip_address.nil?
142         stale_conflicting_nodes = Node.where('id != ? and ip_address = ? and last_ping_at < ?',self.id,self.ip_address,10.minutes.ago)
143         if not stale_conflicting_nodes.empty?
144           # One or more stale compute node records have the same IP address as the new node.
145           # Clear the ip_address field on the stale nodes.
146           stale_conflicting_nodes.each do |stale_node|
147             stale_node.ip_address = nil
148             stale_node.save!
149           end
150         end
151       end
152       if self.hostname and self.ip_address
153         self.class.dns_server_update(self.hostname, self.ip_address)
154       end
155     end
156   end
157
158   def self.dns_server_update hostname, ip_address
159     ok = true
160
161     ptr_domain = ip_address.
162       split('.').reverse.join('.').concat('.in-addr.arpa')
163
164     template_vars = {
165       hostname: hostname,
166       uuid_prefix: Rails.configuration.uuid_prefix,
167       ip_address: ip_address,
168       ptr_domain: ptr_domain,
169     }
170
171     if Rails.configuration.dns_server_conf_dir and Rails.configuration.dns_server_conf_template
172       begin
173         begin
174           template = IO.read(Rails.configuration.dns_server_conf_template)
175         rescue => e
176           logger.error "Reading #{Rails.configuration.dns_server_conf_template}: #{e.message}"
177           raise
178         end
179
180         hostfile = File.join Rails.configuration.dns_server_conf_dir, "#{hostname}.conf"
181         File.open hostfile+'.tmp', 'w' do |f|
182           f.puts template % template_vars
183         end
184         File.rename hostfile+'.tmp', hostfile
185       rescue => e
186         logger.error "Writing #{hostfile}: #{e.message}"
187         ok = false
188       end
189     end
190
191     if Rails.configuration.dns_server_update_command
192       cmd = Rails.configuration.dns_server_update_command % template_vars
193       if not system cmd
194         logger.error "dns_server_update_command #{cmd.inspect} failed: #{$?}"
195         ok = false
196       end
197     end
198
199     if Rails.configuration.dns_server_conf_dir and Rails.configuration.dns_server_reload_command
200       restartfile = File.join(Rails.configuration.dns_server_conf_dir, 'restart.txt')
201       begin
202         File.open(restartfile, 'w') do |f|
203           # Typically, this is used to trigger a dns server restart
204           f.puts Rails.configuration.dns_server_reload_command
205         end
206       rescue => e
207         logger.error "Unable to write #{restartfile}: #{e.message}"
208         ok = false
209       end
210     end
211
212     ok
213   end
214
215   def self.hostname_for_slot(slot_number)
216     config = Rails.configuration.assign_node_hostname
217
218     return nil if !config
219
220     sprintf(config, {:slot_number => slot_number})
221   end
222
223   # At startup, make sure all DNS entries exist.  Otherwise, slurmctld
224   # will refuse to start.
225   if Rails.configuration.dns_server_conf_dir and Rails.configuration.dns_server_conf_template and Rails.configuration.assign_node_hostname
226     (0..Rails.configuration.max_compute_nodes-1).each do |slot_number|
227       hostname = hostname_for_slot(slot_number)
228       hostfile = File.join Rails.configuration.dns_server_conf_dir, "#{hostname}.conf"
229       if !File.exist? hostfile
230         n = Node.where(:slot_number => slot_number).first
231         if n.nil? or n.ip_address.nil?
232           dns_server_update(hostname, '127.40.4.0')
233         else
234           dns_server_update(hostname, n.ip_address)
235         end
236       end
237     end
238   end
239
240   def permission_to_update
241     @bypass_arvados_authorization or super
242   end
243
244   def permission_to_create
245     current_user and current_user.is_admin
246   end
247 end