3824: Merge branch 'master' into 3824-docker-fixes
[arvados.git] / services / api / app / models / node.rb
1 class Node < ArvadosModel
2   include HasUuid
3   include KindAndEtag
4   include CommonApiTemplate
5   serialize :info, Hash
6   serialize :properties, Hash
7   before_validation :ensure_ping_secret
8   after_update :dns_server_update
9
10   # Only a controller can figure out whether or not the current API tokens
11   # have access to the associated Job.  They're expected to set
12   # job_readable=true if the Job UUID can be included in the API response.
13   belongs_to(:job, foreign_key: :job_uuid, primary_key: :uuid)
14   attr_accessor :job_readable
15
16   MAX_SLOTS = 64
17
18   @@dns_server_conf_dir = Rails.configuration.dns_server_conf_dir
19   @@dns_server_conf_template = Rails.configuration.dns_server_conf_template
20   @@dns_server_reload_command = Rails.configuration.dns_server_reload_command
21   @@uuid_prefix = Rails.configuration.uuid_prefix
22   @@domain = Rails.configuration.compute_node_domain rescue `hostname --domain`.strip
23   @@nameservers = Rails.configuration.compute_node_nameservers
24
25   api_accessible :user, :extend => :common do |t|
26     t.add :hostname
27     t.add :domain
28     t.add :ip_address
29     t.add :last_ping_at
30     t.add :slot_number
31     t.add :status
32     t.add :api_job_uuid, as: :job_uuid
33     t.add :crunch_worker_state
34     t.add :properties
35   end
36   api_accessible :superuser, :extend => :user do |t|
37     t.add :first_ping_at
38     t.add :info
39     t.add lambda { |x| @@nameservers }, :as => :nameservers
40   end
41
42   def domain
43     super || @@domain
44   end
45
46   def api_job_uuid
47     job_readable ? job_uuid : nil
48   end
49
50   def crunch_worker_state
51     return 'down' if slot_number.nil?
52     case self.info.andand['slurm_state']
53     when 'alloc', 'comp'
54       'busy'
55     when 'idle'
56       'idle'
57     else
58       'down'
59     end
60   end
61
62   def status
63     if !self.last_ping_at
64       if Time.now - self.created_at > 5.minutes
65         'startup-fail'
66       else
67         'pending'
68       end
69     elsif Time.now - self.last_ping_at > 1.hours
70       'missing'
71     else
72       'running'
73     end
74   end
75
76   def ping(o)
77     raise "must have :ip and :ping_secret" unless o[:ip] and o[:ping_secret]
78
79     if o[:ping_secret] != self.info['ping_secret']
80       logger.info "Ping: secret mismatch: received \"#{o[:ping_secret]}\" != \"#{self.info['ping_secret']}\""
81       raise ArvadosModel::UnauthorizedError.new("Incorrect ping_secret")
82     end
83     self.last_ping_at = Time.now
84
85     @bypass_arvados_authorization = true
86
87     # Record IP address
88     if self.ip_address.nil?
89       logger.info "#{self.uuid} ip_address= #{o[:ip]}"
90       self.ip_address = o[:ip]
91       self.first_ping_at = Time.now
92     end
93
94     # Record instance ID if not already known
95     if o[:ec2_instance_id]
96       if !self.info['ec2_instance_id']
97         self.info['ec2_instance_id'] = o[:ec2_instance_id]
98       elsif self.info['ec2_instance_id'] != o[:ec2_instance_id]
99         logger.debug "Multiple nodes have credentials for #{self.uuid}"
100         raise "#{self.uuid} is already running at #{self.info['ec2_instance_id']} so rejecting ping from #{o[:ec2_instance_id]}"
101       end
102     end
103
104     # Assign hostname
105     if self.slot_number.nil?
106       try_slot = 0
107       begin
108         self.slot_number = try_slot
109         begin
110           self.save!
111           break
112         rescue ActiveRecord::RecordNotUnique
113           try_slot += 1
114         end
115         raise "No available node slots" if try_slot == MAX_SLOTS
116       end while true
117       self.hostname = self.class.hostname_for_slot(self.slot_number)
118     end
119
120     # Record other basic stats
121     ['total_cpu_cores', 'total_ram_mb', 'total_scratch_mb'].each do |key|
122       if value = (o[key] or o[key.to_sym])
123         self.properties[key] = value.to_i
124       else
125         self.properties.delete(key)
126       end
127     end
128
129     save!
130   end
131
132   protected
133
134   def ensure_ping_secret
135     self.info['ping_secret'] ||= rand(2**256).to_s(36)
136   end
137
138   def dns_server_update
139     if self.hostname_changed? or self.ip_address_changed?
140       if self.hostname and self.ip_address
141         self.class.dns_server_update(self.hostname, self.ip_address)
142       end
143     end
144   end
145
146   def self.dns_server_update(hostname, ip_address)
147     return unless @@dns_server_conf_dir and @@dns_server_conf_template
148     ptr_domain = ip_address.
149       split('.').reverse.join('.').concat('.in-addr.arpa')
150     hostfile = File.join @@dns_server_conf_dir, "#{hostname}.conf"
151
152     begin
153       template = IO.read(@@dns_server_conf_template)
154     rescue => e
155       STDERR.puts "Unable to read dns_server_conf_template #{@@dns_server_conf_template}: #{e.message}"
156       return
157     end
158
159     populated = template % {hostname:hostname, uuid_prefix:@@uuid_prefix, ip_address:ip_address, ptr_domain:ptr_domain}
160
161     begin
162       File.open hostfile, 'w' do |f|
163         f.puts populated
164       end
165     rescue => e
166       STDERR.puts "Unable to write #{hostfile}: #{e.message}"
167       return
168     end
169     #  f.puts "address=/#{hostname}/#{ip_address}"
170     #  f.puts "address=/#{hostname}.#{@@domain}/#{ip_address}" if @@domain
171     #  f.puts "ptr-record=#{ptr_domain},#{hostname}"
172     #end
173     File.open(File.join(@@dns_server_conf_dir, 'restart.txt'), 'w') do |f|
174       # this will trigger a dns server restart
175       f.puts @@dns_server_reload_command
176     end
177   end
178
179   def self.hostname_for_slot(slot_number)
180     "compute#{slot_number}"
181   end
182
183   # At startup, make sure all DNS entries exist.  Otherwise, slurmctld
184   # will refuse to start.
185   if @@dns_server_conf_dir and @@dns_server_conf_template and
186       !File.exists? (File.join(@@dns_server_conf_dir, "#{hostname_for_slot(MAX_SLOTS-1)}.conf"))
187     (0..MAX_SLOTS-1).each do |slot_number|
188       hostname = hostname_for_slot(slot_number)
189       hostfile = File.join @@dns_server_conf_dir, "#{hostname}.conf"
190       if !File.exists? hostfile
191         n = Node.where(:slot_number => slot_number).first
192         if n.nil? or n.ip_address.nil?
193           dns_server_update(hostname, '127.40.4.0')
194         else
195           dns_server_update(hostname, n.ip_address)
196         end
197       end
198     end
199   end
200
201   def permission_to_update
202     @bypass_arvados_authorization or super
203   end
204
205   def permission_to_create
206     current_user and current_user.is_admin
207   end
208 end