doc/Rakefile

   1 #!/usr/bin/env rake
   2 # Copyright (C) The Arvados Authors. All rights reserved.
   3 #
   4 # SPDX-License-Identifier: CC-BY-SA-3.0
   5
   6 # As a convenience to the documentation writer, you can touch a file
   7 # called 'no-sdk' in the 'doc' directory and it will suppress
   8 # generating the documentation for the SDKs, which (the R docs
   9 # especially) take a fair bit of time and slow down the edit-preview
  10 # cycle.
  11 #
  12 # To generate and view the documentation locally, run this command
  13 #
  14 #   rake && sensible-browser .site/index.html
  15 #
  16 # Or alternatively:
  17 #
  18 #   baseurl=http://localhost:8000 rake && rake run
  19 #
  20 # and then visit http://localhost:8000 in a browser.
  21
  22 require "uri"
  23
  24 require "rubygems"
  25 require "colorize"
  26
  27 def can_run?(*command, **options)
  28   options = {
  29     :in => :close,
  30     :out => [File::NULL, "w"],
  31   }.merge(options)
  32   system(*command, **options)
  33 end
  34
  35 class JavaSDK
  36   def self.build_path
  37     "sdk/java-v2"
  38   end
  39
  40   def self.can_build?
  41     can_run?("gradle", "--version")
  42   end
  43 end
  44
  45 class PythonSDK
  46   def self.build_path
  47     "sdk/python/arvados"
  48   end
  49
  50   def self.can_build?
  51     can_run?("./pysdk_pdoc.py", "--version")
  52   end
  53 end
  54
  55 class RSDK
  56   def self.build_path
  57     "sdk/R"
  58   end
  59
  60   def self.can_build?
  61     can_run?("make", "can_run", chdir: File.join("..", self.build_path))
  62   end
  63 end
  64
  65 $build_sdks = begin
  66   no_sdk_env = ENV.fetch("NO_SDK", "")
  67   sdks_env = ENV.fetch("sdks", "")
  68   all_sdks = Hash[[JavaSDK, PythonSDK, RSDK].map { |c| [c.name, c] }]
  69
  70   if no_sdk_env != "" and sdks_env != ""
  71     fail "both NO_SDK and sdks defined in environment"
  72   elsif sdks_env != ""
  73     # Nothing to do
  74   elsif no_sdk_env != "" or File.exist?("no-sdk")
  75     sdks_env = "none"
  76   end
  77
  78   if sdks_env == ""
  79     all_sdks.each_pair.filter_map do |name, sdk|
  80       if sdk.can_build?
  81         sdk
  82       else
  83         puts "Warning: cannot build #{name.gsub(/SDK$/, ' SDK')} documentation, skipping".colorize(:light_red)
  84       end
  85     end
  86   else
  87     wanted_sdks = []
  88     sdks_env.split(/\s*[,\s]\s*/).each do |key|
  89       key = "#{key.capitalize}SDK"
  90       if key == "AllSDK"
  91         wanted_sdks = all_sdks.values
  92       elsif key == "NoneSDK"
  93         wanted_sdks.clear
  94       elsif sdk = all_sdks[key]
  95         wanted_sdks << sdk
  96       else
  97         fail "cannot build documentation for unknown #{key}"
  98       end
  99     end
 100     wanted_sdks
 101   end
 102 end
 103
 104 module Zenweb
 105   class Site
 106     @binary_files = %w[png jpg gif eot svg ttf woff2? ico pdf m4a t?gz xlsx]
 107   end
 108 end
 109
 110 task :generate => [ :realclean, 'sdk/python/arvados.html', 'sdk/R/arvados/index.html', 'sdk/java-v2/javadoc/index.html' ] do
 111   vars = ['baseurl', 'arvados_cluster_uuid', 'arvados_api_host', 'arvados_workbench_host']
 112   if ! ENV.key?('baseurl') || ENV['baseurl'] == ""
 113     if !ENV.key?('WORKSPACE') || ENV['WORKSPACE'] == ""
 114       puts "The `baseurl` variable was not specified and the `WORKSPACE` environment variable is not set. Defaulting `baseurl` to file://#{pwd}/.site"
 115       ENV['baseurl'] = "file://#{pwd}/.site/"
 116     else
 117       puts "The `baseurl` variable was not specified, defaulting to a value derived from the `WORKSPACE` environment variable"
 118       ENV['baseurl'] = "file://#{ENV['WORKSPACE']}/doc/.site/"
 119     end
 120   end
 121   vars.each do |v|
 122     if ENV[v]
 123       website.config.h[v] = ENV[v]
 124     end
 125   end
 126 end
 127
 128 file ["install/new_cluster_checklist_Azure.xlsx", "install/new_cluster_checklist_AWS.xlsx"] do |t|
 129   cp(t, t)
 130 end
 131
 132 file "sdk/python/arvados.html" do |t|
 133   next unless $build_sdks.include?(PythonSDK)
 134   raise unless system("python3", "setup.py", "build",
 135                       chdir: "../sdk/python", out: :err)
 136   raise unless system("python3", "pysdk_pdoc.py",
 137                       out: :err)
 138 end
 139
 140 file "sdk/R/arvados/index.html" do |t|
 141   next unless $build_sdks.include?(RSDK)
 142   Dir.mkdir("sdk/R")
 143   Dir.mkdir("sdk/R/arvados")
 144   cp('css/R.css', 'sdk/R/arvados')
 145   raise unless system("make", "man", chdir: "../sdk/R", out: :err)
 146   docnames = Dir.glob("../sdk/R/man/*.Rd").map { |rd| File.basename(rd, ".Rd") }.sort
 147   docnames.each do |basename|
 148     raise unless system(
 149                    "R", "CMD", "Rdconv", "--type=html", "man/#{basename}.Rd",
 150                    chdir: "../sdk/R",
 151                    out: ["sdk/R/arvados/#{basename}.html", "w"],
 152                  )
 153   end
 154
 155   File.open("sdk/R/index.html.md", "w") do |fn|
 156     fn.write(<<-EOF
 157 ---
 158 layout: default
 159 navsection: sdk
 160 navmenu: R
 161 title: "R SDK Overview"
 162 ...
 163
 164 EOF
 165             )
 166     File.open("../sdk/R/README.md", "r") do |rd|
 167       fn.write(rd.read)
 168     end
 169   end
 170
 171   File.open("sdk/R/arvados/index.html.textile.liquid", "w") do |fn|
 172     fn.write(<<-EOF
 173 ---
 174 layout: default
 175 navsection: sdk
 176 navmenu: R
 177 title: "R Reference"
 178 ...
 179 {% comment %}
 180 Copyright (C) The Arvados Authors. All rights reserved.
 181
 182 SPDX-License-Identifier: CC-BY-SA-3.0
 183 {% endcomment %}
 184
 185 EOF
 186             )
 187     docnames.each do |basename|
 188       fn.printf("* \"%s\":%s.html\n", basename, basename)
 189     end
 190   end
 191 end
 192
 193 file "sdk/java-v2/javadoc/index.html" do |t|
 194   next unless $build_sdks.include?(JavaSDK)
 195   tgt = Dir.pwd
 196   docfiles = []
 197   Dir.chdir("../sdk/java-v2") do
 198     STDERR.puts `gradle javadoc 2>&1`
 199     raise if $? != 0
 200     puts `sed -i "s/@import.*dejavu.css.*//g" build/docs/javadoc/stylesheet.css`
 201     raise if $? != 0
 202   end
 203   cp_r("../sdk/java-v2/build/docs/javadoc", "sdk/java-v2")
 204   raise if $? != 0
 205 end
 206
 207 task :linkchecker => [ :generate ] do
 208   # we need --check-extern to check relative links, weird but true
 209   opts = [
 210     "--check-extern",
 211     "--ignore-url=!^file://",
 212   ]
 213   ([JavaSDK, PythonSDK, RSDK] - $build_sdks).map(&:build_path).each do |sdk_path|
 214     sdk_url = URI.join(ENV["baseurl"], sdk_path)
 215     url_re = Regexp.escape(sdk_url.to_s)
 216     opts << "--ignore-url=^#{url_re}[./]"
 217   end
 218   result = system(
 219     "linkchecker", *opts, "index.html",
 220     chdir: ".site",
 221   )
 222   if result.nil?
 223     fail "could not run linkchecker command (is it installed?)"
 224   elsif !result
 225     fail "linkchecker exited #{$?.exitstatus}"
 226   end
 227 end
 228
 229 task :import_vscode_training do
 230   Dir.chdir("user") do
 231   rm_rf "arvados-vscode-cwl-training"
 232   `git clone https://github.com/arvados/arvados-vscode-cwl-training`
 233   githash = `git --git-dir arvados-vscode-cwl-training/.git log -n1 --format=%H HEAD`
 234   File.open("cwl/arvados-vscode-training.html.md.liquid", "w") do |fn|
 235     File.open("arvados-vscode-cwl-training/README.md", "r") do |rd|
 236       fn.write(<<-EOF
 237 ---
 238 layout: default
 239 navsection: userguide
 240 title: "Developing CWL Workflows with VSCode"
 241 ...
 242 {% comment %}
 243 Copyright (C) The Arvados Authors. All rights reserved.
 244
 245 SPDX-License-Identifier: CC-BY-SA-3.0
 246
 247 Imported from https://github.com/arvados/arvados-vscode-cwl-training
 248 git hash: #{githash}
 249 {% endcomment %}
 250
 251 EOF
 252               )
 253                fn.write(rd.read())
 254     end
 255   end
 256   rm_rf "arvados-vscode-cwl-training"
 257   end
 258 end
 259
 260 task :clean do
 261   rm_rf "sdk/python/arvados"
 262   rm_f "sdk/python/arvados.html"
 263   rm_f "sdk/python/index.html"
 264   rm_rf "sdk/R"
 265   rm_rf "sdk/java-v2/javadoc"
 266 end
 267
 268 require "zenweb/tasks"
 269 load "zenweb-textile.rb"
 270 load "zenweb-liquid.rb"
 271 load "zenweb-fix-body.rb"
 272
 273 task :extra_wirings do
 274   $website.pages["sdk/python/python.html.textile.liquid"].depends_on("sdk/python/arvados.html")
 275 end