Merge remote-tracking branch 'origin/master' into 2044-share-button
[arvados.git] / services / api / app / models / node.rb
1 class Node < ArvadosModel
2   include HasUuid
3   include KindAndEtag
4   include CommonApiTemplate
5   serialize :info, Hash
6   before_validation :ensure_ping_secret
7   after_update :dnsmasq_update
8
9   MAX_SLOTS = 64
10
11   @@confdir = Rails.configuration.dnsmasq_conf_dir
12   @@domain = Rails.configuration.compute_node_domain rescue `hostname --domain`.strip
13   @@nameservers = Rails.configuration.compute_node_nameservers
14
15   api_accessible :user, :extend => :common do |t|
16     t.add :hostname
17     t.add :domain
18     t.add :ip_address
19     t.add :last_ping_at
20     t.add :slot_number
21     t.add :status
22     t.add :crunch_worker_state
23   end
24   api_accessible :superuser, :extend => :user do |t|
25     t.add :first_ping_at
26     t.add :info
27     t.add lambda { |x| @@nameservers }, :as => :nameservers
28   end
29
30   def info
31     @info ||= Hash.new
32     super
33   end
34
35   def domain
36     super || @@domain
37   end
38
39   def crunch_worker_state
40     case self.info.andand[:slurm_state]
41     when 'alloc', 'comp'
42       'busy'
43     when 'idle'
44       'idle'
45     else
46       'down'
47     end
48   end
49
50   def status
51     if !self.last_ping_at
52       if Time.now - self.created_at > 5.minutes
53         'startup-fail'
54       else
55         'pending'
56       end
57     elsif Time.now - self.last_ping_at > 1.hours
58       'missing'
59     else
60       'running'
61     end
62   end
63
64   def ping(o)
65     raise "must have :ip and :ping_secret" unless o[:ip] and o[:ping_secret]
66
67     if o[:ping_secret] != self.info[:ping_secret]
68       logger.info "Ping: secret mismatch: received \"#{o[:ping_secret]}\" != \"#{self.info[:ping_secret]}\""
69       raise ArvadosModel::UnauthorizedError.new("Incorrect ping_secret")
70     end
71     self.last_ping_at = Time.now
72
73     @bypass_arvados_authorization = true
74
75     # Record IP address
76     if self.ip_address.nil?
77       logger.info "#{self.uuid} ip_address= #{o[:ip]}"
78       self.ip_address = o[:ip]
79       self.first_ping_at = Time.now
80     end
81
82     # Record instance ID if not already known
83     if o[:ec2_instance_id]
84       if !self.info[:ec2_instance_id] 
85         self.info[:ec2_instance_id] = o[:ec2_instance_id]
86         if (Rails.configuration.compute_node_ec2_tag_enable rescue true)
87           tag_cmd = ("ec2-create-tags #{o[:ec2_instance_id]} " +
88                      "--tag 'Name=#{self.uuid}'")
89           `#{tag_cmd}`
90         end
91       elsif self.info[:ec2_instance_id] != o[:ec2_instance_id]
92         logger.debug "Multiple nodes have credentials for #{self.uuid}"
93         raise "#{self.uuid} is already running at #{self.info[:ec2_instance_id]} so rejecting ping from #{o[:ec2_instance_id]}"
94       end
95     end
96
97     # Assign hostname
98     if self.slot_number.nil?
99       try_slot = 0
100       begin
101         self.slot_number = try_slot
102         begin
103           self.save!
104           break
105         rescue ActiveRecord::RecordNotUnique
106           try_slot += 1
107         end
108         raise "No available node slots" if try_slot == MAX_SLOTS
109       end while true
110       self.hostname = self.class.hostname_for_slot(self.slot_number)
111       if info[:ec2_instance_id]
112         if (Rails.configuration.compute_node_ec2_tag_enable rescue true)
113           `ec2-create-tags #{self.info[:ec2_instance_id]} --tag 'hostname=#{self.hostname}'`
114         end
115       end
116     end
117
118     save!
119   end
120
121   def start!(ping_url_method)
122     ensure_permission_to_save
123     ping_url = ping_url_method.call({ id: self.uuid, ping_secret: self.info[:ping_secret] })
124     if (Rails.configuration.compute_node_ec2run_args and
125         Rails.configuration.compute_node_ami)
126       ec2_args = ["--user-data '#{ping_url}'",
127                   "-t c1.xlarge -n 1",
128                   Rails.configuration.compute_node_ec2run_args,
129                   Rails.configuration.compute_node_ami
130                  ]
131       ec2run_cmd = ["ec2-run-instances",
132                     "--client-token", self.uuid,
133                     ec2_args].flatten.join(' ')
134       ec2spot_cmd = ["ec2-request-spot-instances",
135                      "-p #{Rails.configuration.compute_node_spot_bid} --type one-time",
136                      ec2_args].flatten.join(' ')
137     else
138       ec2run_cmd = ''
139       ec2spot_cmd = ''
140     end
141     self.info[:ec2_run_command] = ec2run_cmd
142     self.info[:ec2_spot_command] = ec2spot_cmd
143     self.info[:ec2_start_command] = ec2spot_cmd
144     logger.info "#{self.uuid} ec2_start_command= #{ec2spot_cmd.inspect}"
145     result = `#{ec2spot_cmd} 2>&1`
146     self.info[:ec2_start_result] = result
147     logger.info "#{self.uuid} ec2_start_result= #{result.inspect}"
148     result.match(/INSTANCE\s*(i-[0-9a-f]+)/) do |m|
149       instance_id = m[1]
150       self.info[:ec2_instance_id] = instance_id
151       if (Rails.configuration.compute_node_ec2_tag_enable rescue true)
152         `ec2-create-tags #{instance_id} --tag 'Name=#{self.uuid}'`
153       end
154     end
155     result.match(/SPOTINSTANCEREQUEST\s*(sir-[0-9a-f]+)/) do |m|
156       sir_id = m[1]
157       self.info[:ec2_sir_id] = sir_id
158       if (Rails.configuration.compute_node_ec2_tag_enable rescue true)
159         `ec2-create-tags #{sir_id} --tag 'Name=#{self.uuid}'`
160       end
161     end
162     self.save!
163   end
164
165   protected
166
167   def ensure_ping_secret
168     self.info[:ping_secret] ||= rand(2**256).to_s(36)
169   end
170
171   def dnsmasq_update
172     if self.hostname_changed? or self.ip_address_changed?
173       if self.hostname and self.ip_address
174         self.class.dnsmasq_update(self.hostname, self.ip_address)
175       end
176     end
177   end
178
179   def self.dnsmasq_update(hostname, ip_address)
180     return unless @@confdir
181     ptr_domain = ip_address.
182       split('.').reverse.join('.').concat('.in-addr.arpa')
183     hostfile = File.join @@confdir, hostname
184     File.open hostfile, 'w' do |f|
185       f.puts "address=/#{hostname}/#{ip_address}"
186       f.puts "address=/#{hostname}.#{@@domain}/#{ip_address}" if @@domain
187       f.puts "ptr-record=#{ptr_domain},#{hostname}"
188     end
189     File.open(File.join(@@confdir, 'restart.txt'), 'w') do |f|
190       # this should trigger a dnsmasq restart
191     end
192   end
193
194   def self.hostname_for_slot(slot_number)
195     "compute#{slot_number}"
196   end
197
198   # At startup, make sure all DNS entries exist.  Otherwise, slurmctld
199   # will refuse to start.
200   if @@confdir and
201       !File.exists? (File.join(@@confdir, hostname_for_slot(MAX_SLOTS-1)))
202     (0..MAX_SLOTS-1).each do |slot_number|
203       hostname = hostname_for_slot(slot_number)
204       hostfile = File.join @@confdir, hostname
205       if !File.exists? hostfile
206         dnsmasq_update(hostname, '127.40.4.0')
207       end
208     end
209   end
210
211   def permission_to_update
212     @bypass_arvados_authorization or super
213   end
214
215   def permission_to_create
216     current_user and current_user.is_admin
217   end
218 end