closes #5417
[arvados.git] / apps / workbench / app / helpers / provenance_helper.rb
1 module ProvenanceHelper
2
3   class GenerateGraph
4     def initialize(pdata, opts)
5       @pdata = pdata
6       @opts = opts
7       @visited = {}
8       @jobs = {}
9       @node_extra = {}
10     end
11
12     def self.collection_uuid(uuid)
13       Keep::Locator.parse(uuid).andand.strip_hints.andand.to_s
14     end
15
16     def url_for u
17       p = { :host => @opts[:request].host,
18         :port => @opts[:request].port,
19         :protocol => @opts[:request].protocol }
20       p.merge! u
21       Rails.application.routes.url_helpers.url_for (p)
22     end
23
24     def determine_fillcolor(n)
25       fillcolor = %w(666666 669966 666699 666666 996666)[n || 0] || '666666'
26       "style=\"filled\",color=\"#ffffff\",fillcolor=\"##{fillcolor}\",fontcolor=\"#ffffff\""
27     end
28
29     def describe_node(uuid, describe_opts={})
30       bgcolor = determine_fillcolor (describe_opts[:pip] || @opts[:pips].andand[uuid])
31
32       rsc = ArvadosBase::resource_class_for_uuid uuid
33
34       if GenerateGraph::collection_uuid(uuid) || rsc == Collection
35         if Collection.is_empty_blob_locator? uuid.to_s
36           # special case
37           return "\"#{uuid}\" [label=\"(empty collection)\"];\n"
38         end
39
40         href = url_for ({:controller => Collection.to_s.tableize,
41                           :action => :show,
42                           :id => uuid.to_s })
43
44         return "\"#{uuid}\" [label=\"#{encode_quotes(describe_opts[:label] || (@pdata[uuid] and @pdata[uuid][:name]) || uuid)}\",shape=box,href=\"#{href}\",#{bgcolor}];\n"
45       else
46         href = ""
47         if describe_opts[:href]
48           href = ",href=\"#{url_for ({:controller => describe_opts[:href][:controller],
49                             :action => :show,
50                             :id => describe_opts[:href][:id] })}\""
51         end
52         return "\"#{uuid}\" [label=\"#{encode_quotes(describe_opts[:label] || uuid)}\",#{bgcolor},shape=#{describe_opts[:shape] || 'box'}#{href}];\n"
53       end
54     end
55
56     def job_uuid(job)
57       d = Digest::MD5.hexdigest(job[:script_parameters].to_json)
58       if @opts[:combine_jobs] == :script_only
59         uuid = "#{job[:script]}_#{d}"
60       elsif @opts[:combine_jobs] == :script_and_version
61         uuid = "#{job[:script]}_#{job[:script_version]}_#{d}"
62       else
63         uuid = "#{job[:uuid]}"
64       end
65
66       @jobs[uuid] = [] unless @jobs[uuid]
67       @jobs[uuid] << job unless @jobs[uuid].include? job
68
69       uuid
70     end
71
72     def edge(tail, head, extra)
73       if @opts[:direction] == :bottom_up
74         gr = "\"#{encode_quotes head}\" -> \"#{encode_quotes tail}\""
75       else
76         gr = "\"#{encode_quotes tail}\" -> \"#{encode_quotes head}\""
77       end
78
79       if extra.length > 0
80         gr += " ["
81         extra.each do |k, v|
82           gr += "#{k}=\"#{encode_quotes v}\","
83         end
84         gr += "]"
85       end
86       gr += ";\n"
87       gr
88     end
89
90     def script_param_edges(uuid, sp)
91       gr = ""
92
93       sp.each do |k, v|
94         if @opts[:all_script_parameters]
95           if v.is_a? Array or v.is_a? Hash
96             encv = JSON.pretty_generate(v).gsub("\n", "\\l") + "\\l"
97           else
98             encv = v.to_json
99           end
100           gr += "\"#{encode_quotes encv}\" [shape=box];\n"
101           gr += edge(encv, uuid, {:label => k})
102         end
103       end
104       gr
105     end
106
107     def job_edges job, edge_opts={}
108       uuid = job_uuid(job)
109       gr = ""
110
111       ProvenanceHelper::find_collections job[:script_parameters] do |collection_hash, collection_uuid, key|
112         if collection_uuid
113           gr += describe_node(collection_uuid)
114           gr += edge(collection_uuid, uuid, {:label => key})
115         else
116           gr += describe_node(collection_hash)
117           gr += edge(collection_hash, uuid, {:label => key})
118         end
119       end
120
121       if job[:docker_image_locator] and !@opts[:no_docker]
122         gr += describe_node(job[:docker_image_locator], {label: (job[:runtime_constraints].andand[:docker_image] || job[:docker_image_locator])})
123         gr += edge(job[:docker_image_locator], uuid, {label: "docker_image"})
124       end
125
126       if @opts[:script_version_nodes]
127         gr += describe_node(job[:script_version], {:label => "git:#{job[:script_version]}"})
128         gr += edge(job[:script_version], uuid, {:label => "script_version"})
129       end
130
131       if job[:output] and !edge_opts[:no_output]
132         gr += describe_node(job[:output])
133         gr += edge(uuid, job[:output], {label: "output" })
134       end
135
136       if job[:log] and !edge_opts[:no_log]
137         gr += describe_node(job[:log])
138         gr += edge(uuid, job[:log], {label: "log"})
139       end
140
141       gr
142     end
143
144     def generate_provenance_edges(uuid)
145       gr = ""
146       m = GenerateGraph::collection_uuid(uuid)
147       uuid = m if m
148
149       if uuid.nil? or uuid.empty? or @visited[uuid]
150         return ""
151       end
152
153       if @pdata[uuid].nil?
154         return ""
155       else
156         @visited[uuid] = true
157       end
158
159       if uuid.start_with? "component_"
160         # Pipeline component inputs
161         job = @pdata[@pdata[uuid][:job].andand[:uuid]]
162
163         if job
164           gr += describe_node(job_uuid(job), {label: uuid[38..-1], pip: @opts[:pips].andand[job[:uuid]], shape: "oval",
165                                 href: {controller: 'jobs', id: job[:uuid]}})
166           gr += job_edges job, {no_output: true, no_log: true}
167         end
168
169         # Pipeline component output
170         outuuid = @pdata[uuid][:output_uuid]
171         if outuuid
172           outcollection = @pdata[outuuid]
173           if outcollection
174             gr += edge(job_uuid(job), outcollection[:portable_data_hash], {label: "output"})
175             gr += describe_node(outcollection[:portable_data_hash], {label: outcollection[:name]})
176           end
177         elsif job and job[:output]
178           gr += describe_node(job[:output])
179           gr += edge(job_uuid(job), job[:output], {label: "output" })
180         end
181       else
182         rsc = ArvadosBase::resource_class_for_uuid uuid
183
184         if rsc == Job
185           job = @pdata[uuid]
186           gr += job_edges job if job
187         end
188       end
189
190       @pdata.each do |k, link|
191         if link[:head_uuid] == uuid.to_s and link[:link_class] == "provenance"
192           href = url_for ({:controller => Link.to_s.tableize,
193                             :action => :show,
194                             :id => link[:uuid] })
195
196           gr += describe_node(link[:tail_uuid])
197           gr += edge(link[:head_uuid], link[:tail_uuid], {:label => link[:name], :href => href})
198           gr += generate_provenance_edges(link[:tail_uuid])
199         end
200       end
201
202       gr
203     end
204
205     def describe_jobs
206       gr = ""
207       @jobs.each do |k, v|
208         href = url_for ({:controller => Job.to_s.tableize,
209                           :action => :index })
210
211         gr += "\"#{k}\" [href=\"#{href}?"
212
213         n = 0
214         v.each do |u|
215           gr += ";" unless gr.end_with? "?"
216           gr += "uuid%5b%5d=#{u[:uuid]}"
217           n |= @opts[:pips][u[:uuid]] if @opts[:pips] and @opts[:pips][u[:uuid]]
218         end
219
220         gr += "\",label=\""
221
222         label = "#{v[0][:script]}"
223
224         if label == "run-command" and v[0][:script_parameters][:command].is_a? Array
225           label = v[0][:script_parameters][:command].join(' ')
226         end
227
228         if not @opts[:combine_jobs]
229           label += "\\n#{v[0][:finished_at]}"
230         end
231
232         gr += encode_quotes label
233
234         gr += "\",#{determine_fillcolor n}];\n"
235       end
236       gr
237     end
238
239     def encode_quotes value
240       value.to_s.gsub("\"", "\\\"").gsub("\n", "\\n")
241     end
242   end
243
244   def self.create_provenance_graph(pdata, svgId, opts={})
245     if pdata.is_a? Array or pdata.is_a? ArvadosResourceList
246       p2 = {}
247       pdata.each do |k|
248         p2[k[:uuid]] = k if k[:uuid]
249       end
250       pdata = p2
251     end
252
253     unless pdata.is_a? Hash
254       raise "create_provenance_graph accepts Array or Hash for pdata only, pdata is #{pdata.class}"
255     end
256
257     gr = """strict digraph {
258 node [fontsize=10,fontname=\"Helvetica,Arial,sans-serif\"];
259 edge [fontsize=10,fontname=\"Helvetica,Arial,sans-serif\"];
260 """
261
262     if opts[:direction] == :bottom_up
263       gr += "edge [dir=back];"
264     end
265
266     begin
267       pdata = pdata.stringify_keys
268
269       g = GenerateGraph.new(pdata, opts)
270
271       pdata.each do |k, v|
272         if !opts[:only_components] or k.start_with? "component_"
273           gr += g.generate_provenance_edges(k)
274         else
275           #gr += describe_node(k)
276         end
277       end
278
279       if !opts[:only_components]
280         gr += g.describe_jobs
281       end
282
283     rescue => e
284       Rails.logger.warn "#{e.inspect}"
285       Rails.logger.warn "#{e.backtrace.join("\n\t")}"
286       raise
287     end
288
289     gr += "}"
290     svg = ""
291
292     require 'open3'
293
294     Open3.popen2("dot", "-Tsvg") do |stdin, stdout, wait_thr|
295       stdin.print(gr)
296       stdin.close
297       svg = stdout.read()
298       wait_thr.value
299       stdout.close()
300     end
301
302     svg = svg.sub(/<\?xml.*?\?>/m, "")
303     svg = svg.sub(/<!DOCTYPE.*?>/m, "")
304     svg = svg.sub(/<svg /, "<svg id=\"#{svgId}\" ")
305   end
306
307   # yields hash, uuid
308   # Position indicates whether it is a content hash or arvados uuid.
309   # One will hold a value, the other will always be nil.
310   def self.find_collections(sp, key=nil, &b)
311     case sp
312     when ArvadosBase
313       sp.class.columns.each do |c|
314         find_collections(sp[c.name.to_sym], nil, &b)
315       end
316     when Hash
317       sp.each do |k, v|
318         find_collections(v, key || k, &b)
319       end
320     when Array
321       sp.each do |v|
322         find_collections(v, key, &b)
323       end
324     when String
325       if m = /[a-f0-9]{32}\+\d+/.match(sp)
326         yield m[0], nil, key
327       elsif m = /[0-9a-z]{5}-4zz18-[0-9a-z]{15}/.match(sp)
328         yield nil, m[0], key
329       end
330     end
331   end
332 end