doc/Rakefile

   1 #!/usr/bin/env rake
   2 # Copyright (C) The Arvados Authors. All rights reserved.
   3 #
   4 # SPDX-License-Identifier: CC-BY-SA-3.0
   5
   6 # As a convenience to the documentation writer, you can touch a file
   7 # called 'no-sdk' in the 'doc' directory and it will suppress
   8 # generating the documentation for the SDKs, which (the R docs
   9 # especially) take a fair bit of time and slow down the edit-preview
  10 # cycle.
  11 #
  12 # To generate and view the documentation locally, run this command
  13 #
  14 #   rake && sensible-browser .site/index.html
  15 #
  16 # Or alternatively:
  17 #
  18 #   baseurl=http://localhost:8000 rake && rake run
  19 #
  20 # and then visit http://localhost:8000 in a browser.
  21
  22 require "rubygems"
  23 require "colorize"
  24
  25 def can_run?(*command, **options)
  26   options = {
  27     :in => :close,
  28     :out => [File::NULL, "w"],
  29   }.merge(options)
  30   system(*command, **options)
  31 end
  32
  33 class JavaSDK
  34   def self.can_build?
  35     can_run?("gradle", "--version")
  36   end
  37 end
  38
  39 class PythonSDK
  40   def self.can_build?
  41     can_run?("./pysdk_pdoc.py", "--version")
  42   end
  43 end
  44
  45 class RSDK
  46   def self.can_build?
  47     can_run?("R", "--version")
  48   end
  49 end
  50
  51 $build_sdks = begin
  52   no_sdk_env = ENV.fetch("NO_SDK", "")
  53   sdks_env = ENV.fetch("sdks", "")
  54   all_sdks = Hash[[JavaSDK, PythonSDK, RSDK].map { |c| [c.name, c] }]
  55
  56   if no_sdk_env != "" and sdks_env != ""
  57     fail "both NO_SDK and sdks defined in environment"
  58   elsif sdks_env != ""
  59     # Nothing to do
  60   elsif no_sdk_env != "" or File.exist?("no-sdk")
  61     sdks_env = "none"
  62   end
  63
  64   if sdks_env == ""
  65     all_sdks.each_pair.filter_map do |name, sdk|
  66       if sdk.can_build?
  67         sdk
  68       else
  69         puts "Warning: cannot build #{name.replace(/SDK$/, ' SDK')} documentation, skipping".colorize(:light_red)
  70       end
  71     end
  72   else
  73     wanted_sdks = []
  74     sdks_env.split(/\s*[,\s]\s*/).each do |key|
  75       key = "#{key.capitalize}SDK"
  76       if key == "AllSDK"
  77         wanted_sdks = all_sdks.values
  78       elsif key == "NoneSDK"
  79         wanted_sdks.clear
  80       elsif sdk = all_sdks[key]
  81         wanted_sdks << sdk
  82       else
  83         fail "cannot build documentation for unknown #{key}"
  84       end
  85     end
  86     wanted_sdks
  87   end
  88 end
  89
  90 module Zenweb
  91   class Site
  92     @binary_files = %w[png jpg gif eot svg ttf woff2? ico pdf m4a t?gz xlsx]
  93   end
  94 end
  95
  96 task :generate => [ :realclean, 'sdk/python/arvados.html', 'sdk/R/arvados/index.html', 'sdk/java-v2/javadoc/index.html' ] do
  97   vars = ['baseurl', 'arvados_cluster_uuid', 'arvados_api_host', 'arvados_workbench_host']
  98   if ! ENV.key?('baseurl') || ENV['baseurl'] == ""
  99     if !ENV.key?('WORKSPACE') || ENV['WORKSPACE'] == ""
 100       puts "The `baseurl` variable was not specified and the `WORKSPACE` environment variable is not set. Defaulting `baseurl` to file://#{pwd}/.site"
 101       ENV['baseurl'] = "file://#{pwd}/.site/"
 102     else
 103       puts "The `baseurl` variable was not specified, defaulting to a value derived from the `WORKSPACE` environment variable"
 104       ENV['baseurl'] = "file://#{ENV['WORKSPACE']}/doc/.site/"
 105     end
 106   end
 107   vars.each do |v|
 108     if ENV[v]
 109       website.config.h[v] = ENV[v]
 110     end
 111   end
 112 end
 113
 114 file ["install/new_cluster_checklist_Azure.xlsx", "install/new_cluster_checklist_AWS.xlsx"] do |t|
 115   cp(t, t)
 116 end
 117
 118 file "sdk/python/arvados.html" do |t|
 119   next unless $build_sdks.include?(PythonSDK)
 120   raise unless system("python3", "setup.py", "build",
 121                       chdir: "../sdk/python", out: :err)
 122   raise unless system("python3", "pysdk_pdoc.py",
 123                       out: :err)
 124 end
 125
 126 file "sdk/R/arvados/index.html" do |t|
 127   next unless $build_sdks.include?(RSDK)
 128   tgt = Dir.pwd
 129   Dir.mkdir("sdk/R")
 130   Dir.mkdir("sdk/R/arvados")
 131   puts("tgt", tgt)
 132   cp('css/R.css', 'sdk/R/arvados')
 133   docfiles = []
 134   Dir.chdir("../sdk/R/") do
 135     Dir.entries("man").each do |rd|
 136       if rd[-3..-1] == ".Rd"
 137         htmlfile = "#{rd[0..-4]}.html"
 138         `R CMD Rdconv -t html man/#{rd} > #{tgt}/sdk/R/arvados/#{htmlfile}`
 139         docfiles << htmlfile
 140       end
 141     end
 142   end
 143   raise if $? != 0
 144
 145   File.open("../sdk/R/README.md", "r") do |rd|
 146     File.open("sdk/R/index.html.md", "w") do |fn|
 147       fn.write(<<-EOF
 148 ---
 149 layout: default
 150 navsection: sdk
 151 navmenu: R
 152 title: "R SDK Overview"
 153 ...
 154
 155 #{rd.read}
 156 EOF
 157               )
 158     end
 159   end
 160
 161   File.open("sdk/R/arvados/index.html.textile.liquid", "w") do |fn|
 162     fn.write(<<-EOF
 163 ---
 164 layout: default
 165 navsection: sdk
 166 navmenu: R
 167 title: "R Reference"
 168 ...
 169 {% comment %}
 170 Copyright (C) The Arvados Authors. All rights reserved.
 171
 172 SPDX-License-Identifier: CC-BY-SA-3.0
 173 {% endcomment %}
 174
 175 EOF
 176             )
 177     docfiles.sort.each do |d|
 178       fn.write("* \"#{d[0..-6]}\":#{d}\n")
 179     end
 180   end
 181 end
 182
 183 file "sdk/java-v2/javadoc/index.html" do |t|
 184   next unless $build_sdks.include?(JavaSDK)
 185   tgt = Dir.pwd
 186   docfiles = []
 187   Dir.chdir("../sdk/java-v2") do
 188     STDERR.puts `gradle javadoc 2>&1`
 189     raise if $? != 0
 190     puts `sed -i "s/@import.*dejavu.css.*//g" build/docs/javadoc/stylesheet.css`
 191     raise if $? != 0
 192   end
 193   cp_r("../sdk/java-v2/build/docs/javadoc", "sdk/java-v2")
 194   raise if $? != 0
 195 end
 196
 197 task :linkchecker => [ :generate ] do
 198   if !can_run?("linkchecker", "--version")
 199     puts "Warning: linkchecker not found, skipping run".colorize(:light_red)
 200     next
 201   end
 202   # we need --check-extern to check relative links, weird but true
 203   system(
 204     "linkchecker", "index.html", "--check-extern", "--ignore-url=!file://",
 205     chdir: ".site",
 206   ) or exit $?.exitstatus
 207 end
 208
 209 task :import_vscode_training do
 210   Dir.chdir("user") do
 211   rm_rf "arvados-vscode-cwl-training"
 212   `git clone https://github.com/arvados/arvados-vscode-cwl-training`
 213   githash = `git --git-dir arvados-vscode-cwl-training/.git log -n1 --format=%H HEAD`
 214   File.open("cwl/arvados-vscode-training.html.md.liquid", "w") do |fn|
 215     File.open("arvados-vscode-cwl-training/README.md", "r") do |rd|
 216       fn.write(<<-EOF
 217 ---
 218 layout: default
 219 navsection: userguide
 220 title: "Developing CWL Workflows with VSCode"
 221 ...
 222 {% comment %}
 223 Copyright (C) The Arvados Authors. All rights reserved.
 224
 225 SPDX-License-Identifier: CC-BY-SA-3.0
 226
 227 Imported from https://github.com/arvados/arvados-vscode-cwl-training
 228 git hash: #{githash}
 229 {% endcomment %}
 230
 231 EOF
 232               )
 233                fn.write(rd.read())
 234     end
 235   end
 236   rm_rf "arvados-vscode-cwl-training"
 237   end
 238 end
 239
 240 task :clean do
 241   rm_rf "sdk/python/arvados"
 242   rm_f "sdk/python/arvados.html"
 243   rm_f "sdk/python/index.html"
 244   rm_rf "sdk/R"
 245   rm_rf "sdk/java-v2/javadoc"
 246 end
 247
 248 require "zenweb/tasks"
 249 load "zenweb-textile.rb"
 250 load "zenweb-liquid.rb"
 251 load "zenweb-fix-body.rb"
 252
 253 task :extra_wirings do
 254   $website.pages["sdk/python/python.html.textile.liquid"].depends_on("sdk/python/arvados.html")
 255 end