18874: Merge branch 'main' from arvados-workbench2.git
[arvados.git] / doc / Rakefile
1 #!/usr/bin/env rake
2 # Copyright (C) The Arvados Authors. All rights reserved.
3 #
4 # SPDX-License-Identifier: CC-BY-SA-3.0
5
6 # As a convenience to the documentation writer, you can touch a file
7 # called 'no-sdk' in the 'doc' directory and it will suppress
8 # generating the documentation for the SDKs, which (the R docs
9 # especially) take a fair bit of time and slow down the edit-preview
10 # cycle.
11 #
12 # To generate and view the documentation locally, run this command
13 #
14 #   rake && sensible-browser .site/index.html
15 #
16 # Or alternatively:
17 #
18 #   baseurl=http://localhost:8000 rake && rake run
19 #
20 # and then visit http://localhost:8000 in a browser.
21
22 require "rubygems"
23 require "colorize"
24
25 module Zenweb
26   class Site
27     @binary_files = %w[png jpg gif eot svg ttf woff2? ico pdf m4a t?gz xlsx]
28   end
29 end
30
31 task :generate => [ :realclean, 'sdk/python/arvados.html', 'sdk/R/arvados/index.html', 'sdk/java-v2/javadoc/index.html' ] do
32   vars = ['baseurl', 'arvados_cluster_uuid', 'arvados_api_host', 'arvados_workbench_host']
33   if ! ENV.key?('baseurl') || ENV['baseurl'] == ""
34     if !ENV.key?('WORKSPACE') || ENV['WORKSPACE'] == ""
35       puts "The `baseurl` variable was not specified and the `WORKSPACE` environment variable is not set. Defaulting `baseurl` to file://#{pwd}/.site"
36       ENV['baseurl'] = "file://#{pwd}/.site/"
37     else
38       puts "The `baseurl` variable was not specified, defaulting to a value derived from the `WORKSPACE` environment variable"
39       ENV['baseurl'] = "file://#{ENV['WORKSPACE']}/doc/.site/"
40     end
41   end
42   vars.each do |v|
43     if ENV[v]
44       website.config.h[v] = ENV[v]
45     end
46   end
47 end
48
49 file ["install/new_cluster_checklist_Azure.xlsx", "install/new_cluster_checklist_AWS.xlsx"] do |t|
50   cp(t, t)
51 end
52
53 file "sdk/python/arvados.html" do |t|
54   if ENV['NO_SDK'] || File.exist?("no-sdk")
55     next
56   end
57   # pysdk_pdoc.py is a wrapper around the pdoc CLI. `which pdoc` is an easy
58   # and good-enough test to check whether it's installed at all.
59   `which pdoc`
60   if $? == 0
61     raise unless system("python3", "setup.py", "build",
62                         chdir: "../sdk/python", out: :err)
63     raise unless system("python3", "pysdk_pdoc.py",
64                         out: :err)
65   else
66     puts "Warning: pdoc not found, Python documentation will not be generated".colorize(:light_red)
67   end
68 end
69
70 file "sdk/R/arvados/index.html" do |t|
71   if ENV['NO_SDK'] || File.exist?("no-sdk")
72     next
73   end
74   `which R`
75   if $? == 0
76     tgt = Dir.pwd
77     Dir.mkdir("sdk/R")
78     Dir.mkdir("sdk/R/arvados")
79     puts("tgt", tgt)
80     cp('css/R.css', 'sdk/R/arvados')
81     docfiles = []
82     Dir.chdir("../sdk/R/") do
83       Dir.entries("man").each do |rd|
84         if rd[-3..-1] == ".Rd"
85           htmlfile = "#{rd[0..-4]}.html"
86           `R CMD Rdconv -t html man/#{rd} > #{tgt}/sdk/R/arvados/#{htmlfile}`
87           docfiles << htmlfile
88         end
89       end
90     end
91     raise if $? != 0
92
93     File.open("../sdk/R/README.md", "r") do |rd|
94     File.open("sdk/R/index.html.md", "w") do |fn|
95       fn.write(<<-EOF
96 ---
97 layout: default
98 navsection: sdk
99 navmenu: R
100 title: "R SDK Overview"
101 ...
102
103 #{rd.read}
104 EOF
105               )
106       end
107     end
108
109     File.open("sdk/R/arvados/index.html.textile.liquid", "w") do |fn|
110       fn.write(<<-EOF
111 ---
112 layout: default
113 navsection: sdk
114 navmenu: R
115 title: "R Reference"
116 ...
117 {% comment %}
118 Copyright (C) The Arvados Authors. All rights reserved.
119
120 SPDX-License-Identifier: CC-BY-SA-3.0
121 {% endcomment %}
122
123 EOF
124               )
125
126       docfiles.sort.each do |d|
127         fn.write("* \"#{d[0..-6]}\":#{d}\n")
128       end
129
130     end
131   else
132     puts "Warning: R not found, R documentation will not be generated".colorize(:light_red)
133   end
134 end
135
136 file "sdk/java-v2/javadoc/index.html" do |t|
137   if ENV['NO_SDK'] || File.exist?("no-sdk")
138     next
139   end
140   `which java`
141   if $? == 0
142     `which gradle`
143     if $? != 0
144       puts "Warning: gradle not found, java sdk documentation will not be generated".colorize(:light_red)
145     else
146       tgt = Dir.pwd
147       docfiles = []
148       Dir.chdir("../sdk/java-v2") do
149         STDERR.puts `gradle javadoc 2>&1`
150         raise if $? != 0
151         puts `sed -i "s/@import.*dejavu.css.*//g" build/docs/javadoc/stylesheet.css`
152         raise if $? != 0
153       end
154       cp_r("../sdk/java-v2/build/docs/javadoc", "sdk/java-v2")
155       raise if $? != 0
156     end
157   else
158     puts "Warning: java not found, java sdk documentation will not be generated".colorize(:light_red)
159   end
160 end
161
162 task :linkchecker => [ :generate ] do
163   Dir.chdir(".site") do
164     `which linkchecker`
165     if $? == 0
166       # we need --check-extern to check relative links, weird but true
167       system "linkchecker index.html --check-extern --ignore-url='!file://'" or exit $?.exitstatus
168     else
169       puts "Warning: linkchecker not found, skipping run".colorize(:light_red)
170     end
171   end
172 end
173
174 task :import_vscode_training do
175   Dir.chdir("user") do
176   rm_rf "arvados-vscode-cwl-training"
177   `git clone https://github.com/arvados/arvados-vscode-cwl-training`
178   githash = `git --git-dir arvados-vscode-cwl-training/.git log -n1 --format=%H HEAD`
179   File.open("cwl/arvados-vscode-training.html.md.liquid", "w") do |fn|
180     File.open("arvados-vscode-cwl-training/README.md", "r") do |rd|
181       fn.write(<<-EOF
182 ---
183 layout: default
184 navsection: userguide
185 title: "Developing CWL Workflows with VSCode"
186 ...
187 {% comment %}
188 Copyright (C) The Arvados Authors. All rights reserved.
189
190 SPDX-License-Identifier: CC-BY-SA-3.0
191
192 Imported from https://github.com/arvados/arvados-vscode-cwl-training
193 git hash: #{githash}
194 {% endcomment %}
195
196 EOF
197               )
198                fn.write(rd.read())
199     end
200   end
201   rm_rf "arvados-vscode-cwl-training"
202   end
203 end
204
205 task :clean do
206   rm_rf "sdk/python/arvados"
207   rm_f "sdk/python/arvados.html"
208   rm_f "sdk/python/index.html"
209   rm_rf "sdk/R"
210   rm_rf "sdk/java-v2/javadoc"
211 end
212
213 require "zenweb/tasks"
214 load "zenweb-textile.rb"
215 load "zenweb-liquid.rb"
216 load "zenweb-fix-body.rb"
217
218 task :extra_wirings do
219   $website.pages["sdk/python/python.html.textile.liquid"].depends_on("sdk/python/arvados.html")
220 end