doc/Rakefile

   1 #!/usr/bin/env rake
   2 # Copyright (C) The Arvados Authors. All rights reserved.
   3 #
   4 # SPDX-License-Identifier: CC-BY-SA-3.0
   5
   6 # As a convenience to the documentation writer, you can touch a file
   7 # called 'no-sdk' in the 'doc' directory and it will suppress
   8 # generating the documentation for the SDKs, which (the R docs
   9 # especially) take a fair bit of time and slow down the edit-preview
  10 # cycle.
  11 #
  12 # To generate and view the documentation locally, run this command
  13 #
  14 #   rake && sensible-browser .site/index.html
  15 #
  16 # Or alternatively:
  17 #
  18 #   baseurl=http://localhost:8000 rake && rake run
  19 #
  20 # and then visit http://localhost:8000 in a browser.
  21
  22 require "uri"
  23
  24 require "rubygems"
  25 require "colorize"
  26
  27 def can_run?(*command, **options)
  28   options = {
  29     :in => :close,
  30     :out => [File::NULL, "w"],
  31   }.merge(options)
  32   system(*command, **options)
  33 end
  34
  35 class JavaSDK
  36   def self.build_path
  37     "contrib/java-sdk-v2"
  38   end
  39
  40   def self.can_build?
  41     can_run?("gradle", "--version")
  42   end
  43
  44   def self.doc_path
  45     "sdk/java-v2"
  46   end
  47 end
  48
  49 class PythonSDK
  50   def self.build_path
  51     "sdk/python/arvados"
  52   end
  53
  54   def self.can_build?
  55     can_run?("./pysdk_pdoc.py", "--version")
  56   end
  57
  58   def self.doc_path
  59     "sdk/python/arvados"
  60   end
  61 end
  62
  63 class RSDK
  64   def self.build_path
  65     "contrib/R-sdk"
  66   end
  67
  68   def self.can_build?
  69     can_run?("make", "can_run", chdir: File.join("..", self.build_path))
  70   end
  71
  72   def self.doc_path
  73     "sdk/R"
  74   end
  75 end
  76
  77 $build_sdks = begin
  78   no_sdk_env = ENV.fetch("NO_SDK", "")
  79   sdks_env = ENV.fetch("sdks", "")
  80   all_sdks = Hash[[JavaSDK, PythonSDK, RSDK].map { |c| [c.name, c] }]
  81
  82   if no_sdk_env != "" and sdks_env != ""
  83     fail "both NO_SDK and sdks defined in environment"
  84   elsif sdks_env != ""
  85     # Nothing to do
  86   elsif no_sdk_env != "" or File.exist?("no-sdk")
  87     sdks_env = "none"
  88   end
  89
  90   if sdks_env == ""
  91     all_sdks.each_pair.filter_map do |name, sdk|
  92       if sdk.can_build?
  93         sdk
  94       else
  95         puts "Warning: cannot build #{name.gsub(/SDK$/, ' SDK')} documentation, skipping".colorize(:light_red)
  96       end
  97     end
  98   else
  99     wanted_sdks = []
 100     sdks_env.split(/\s*[,\s]\s*/).each do |key|
 101       key = "#{key.capitalize}SDK"
 102       if key == "AllSDK"
 103         wanted_sdks = all_sdks.values
 104       elsif key == "NoneSDK"
 105         wanted_sdks.clear
 106       elsif sdk = all_sdks[key]
 107         wanted_sdks << sdk
 108       else
 109         fail "cannot build documentation for unknown #{key}"
 110       end
 111     end
 112     wanted_sdks
 113   end
 114 end
 115
 116 module Zenweb
 117   class Site
 118     @binary_files = %w[png jpg gif eot svg ttf woff2? ico pdf m4a t?gz xlsx]
 119   end
 120 end
 121
 122 task :generate => [ :realclean, 'sdk/python/arvados.html', 'sdk/R/arvados/index.html', 'sdk/java-v2/javadoc/index.html' ] do
 123   vars = ['baseurl', 'arvados_cluster_uuid', 'arvados_api_host', 'arvados_workbench_host']
 124   if ! ENV.key?('baseurl') || ENV['baseurl'] == ""
 125     if !ENV.key?('WORKSPACE') || ENV['WORKSPACE'] == ""
 126       puts "The `baseurl` variable was not specified and the `WORKSPACE` environment variable is not set. Defaulting `baseurl` to file://#{pwd}/.site"
 127       ENV['baseurl'] = "file://#{pwd}/.site/"
 128     else
 129       puts "The `baseurl` variable was not specified, defaulting to a value derived from the `WORKSPACE` environment variable"
 130       ENV['baseurl'] = "file://#{ENV['WORKSPACE']}/doc/.site/"
 131     end
 132   end
 133   vars.each do |v|
 134     if ENV[v]
 135       website.config.h[v] = ENV[v]
 136     end
 137   end
 138 end
 139
 140 file ["install/new_cluster_checklist_Azure.xlsx", "install/new_cluster_checklist_AWS.xlsx"] do |t|
 141   cp(t, t)
 142 end
 143
 144 file "sdk/python/arvados.html" do |t|
 145   next unless $build_sdks.include?(PythonSDK)
 146   raise unless system("pip", "install", "../sdk/python",
 147                       out: :err)
 148   raise unless system("python3", "pysdk_pdoc.py",
 149                       out: :err)
 150 end
 151
 152 file "sdk/R/arvados/index.html" do |t|
 153   next unless $build_sdks.include?(RSDK)
 154   Dir.mkdir("sdk/R")
 155   Dir.mkdir("sdk/R/arvados")
 156   cp('css/R.css', 'sdk/R/arvados')
 157   raise unless system("make", "man", chdir: "../contrib/R-sdk", out: :err)
 158   docnames = Dir.glob("../contrib/R-sdk/man/*.Rd").map { |rd| File.basename(rd, ".Rd") }.sort
 159   docnames.each do |basename|
 160     raise unless system(
 161                    "R", "CMD", "Rdconv", "--type=html", "man/#{basename}.Rd",
 162                    chdir: "../contrib/R-sdk",
 163                    out: ["sdk/R/arvados/#{basename}.html", "w"],
 164                  )
 165   end
 166
 167   File.open("sdk/R/index.html.md", "w") do |fn|
 168     fn.write(<<-EOF
 169 ---
 170 layout: default
 171 navsection: sdk
 172 navmenu: R
 173 title: "R SDK Overview"
 174 ...
 175
 176 EOF
 177             )
 178     File.open("../contrib/R-sdk/README.md", "r") do |rd|
 179       fn.write(rd.read)
 180     end
 181   end
 182
 183   File.open("sdk/R/arvados/index.html.textile.liquid", "w") do |fn|
 184     fn.write(<<-EOF
 185 ---
 186 layout: default
 187 navsection: sdk
 188 navmenu: R
 189 title: "R Reference"
 190 ...
 191 {% comment %}
 192 Copyright (C) The Arvados Authors. All rights reserved.
 193
 194 SPDX-License-Identifier: CC-BY-SA-3.0
 195 {% endcomment %}
 196
 197 EOF
 198             )
 199     docnames.each do |basename|
 200       fn.printf("* \"%s\":%s.html\n", basename, basename)
 201     end
 202   end
 203 end
 204
 205 file "sdk/java-v2/javadoc/index.html" do |t|
 206   next unless $build_sdks.include?(JavaSDK)
 207   tgt = Dir.pwd
 208   docfiles = []
 209   Dir.chdir("../contrib/java-sdk-v2") do
 210     STDERR.puts `gradle javadoc 2>&1`
 211     raise if $? != 0
 212     puts `sed -i "s/@import.*dejavu.css.*//g" build/docs/javadoc/stylesheet.css`
 213     raise if $? != 0
 214   end
 215   cp_r("../contrib/java-sdk-v2/build/docs/javadoc", "sdk/java-v2")
 216   raise if $? != 0
 217 end
 218
 219 task :linkchecker => [ :generate ] do
 220   # we need --check-extern to check relative links, weird but true
 221   opts = [
 222     "--check-extern",
 223     "--ignore-url=!^file://",
 224   ]
 225   ([JavaSDK, PythonSDK, RSDK] - $build_sdks).map(&:doc_path).each do |sdk_path|
 226     sdk_url = URI.join(ENV["baseurl"], sdk_path)
 227     url_re = Regexp.escape(sdk_url.to_s)
 228     opts << "--ignore-url=^#{url_re}[./]"
 229   end
 230   result = system(
 231     "linkchecker", *opts, "index.html",
 232     chdir: ".site",
 233   )
 234   if result.nil?
 235     fail "could not run linkchecker command (is it installed?)"
 236   elsif !result
 237     fail "linkchecker exited #{$?.exitstatus}"
 238   end
 239 end
 240
 241 task :import_vscode_training do
 242   Dir.chdir("user") do
 243   rm_rf "arvados-vscode-cwl-training"
 244   `git clone https://github.com/arvados/arvados-vscode-cwl-training`
 245   githash = `git --git-dir arvados-vscode-cwl-training/.git log -n1 --format=%H HEAD`
 246   File.open("cwl/arvados-vscode-training.html.md.liquid", "w") do |fn|
 247     File.open("arvados-vscode-cwl-training/README.md", "r") do |rd|
 248       fn.write(<<-EOF
 249 ---
 250 layout: default
 251 navsection: userguide
 252 title: "Developing CWL Workflows with VSCode"
 253 ...
 254 {% comment %}
 255 Copyright (C) The Arvados Authors. All rights reserved.
 256
 257 SPDX-License-Identifier: CC-BY-SA-3.0
 258
 259 Imported from https://github.com/arvados/arvados-vscode-cwl-training
 260 git hash: #{githash}
 261 {% endcomment %}
 262
 263 EOF
 264               )
 265                fn.write(rd.read())
 266     end
 267   end
 268   rm_rf "arvados-vscode-cwl-training"
 269   end
 270 end
 271
 272 task :clean do
 273   rm_rf "sdk/python/arvados"
 274   rm_f "sdk/python/arvados.html"
 275   rm_f "sdk/python/index.html"
 276   rm_rf "sdk/R"
 277   rm_rf "sdk/java-v2/javadoc"
 278 end
 279
 280 require "zenweb/tasks"
 281 load "zenweb-textile.rb"
 282 load "zenweb-liquid.rb"
 283 load "zenweb-fix-body.rb"
 284
 285 task :extra_wirings do
 286   $website.pages["sdk/python/python.html.textile.liquid"].depends_on("sdk/python/arvados.html")
 287 end