doc/Rakefile

   1 #!/usr/bin/env rake
   2 # Copyright (C) The Arvados Authors. All rights reserved.
   3 #
   4 # SPDX-License-Identifier: CC-BY-SA-3.0
   5
   6 # As a convenience to the documentation writer, you can touch a file
   7 # called 'no-sdk' in the 'doc' directory and it will suppress
   8 # generating the documentation for the SDKs, which (the R docs
   9 # especially) take a fair bit of time and slow down the edit-preview
  10 # cycle.
  11 #
  12 # To generate and view the documentation locally, run this command
  13 #
  14 #   rake && sensible-browser .site/index.html
  15 #
  16 # Or alternatively:
  17 #
  18 #   baseurl=http://localhost:8000 rake && rake run
  19 #
  20 # and then visit http://localhost:8000 in a browser.
  21
  22 require "rubygems"
  23 require "colorize"
  24
  25 module Zenweb
  26   class Site
  27     @binary_files = %w[png jpg gif eot svg ttf woff2? ico pdf m4a t?gz xlsx]
  28   end
  29 end
  30
  31 task :generate => [ :realclean, 'sdk/python/arvados.html', 'sdk/R/arvados/index.html', 'sdk/java-v2/javadoc/index.html' ] do
  32   vars = ['baseurl', 'arvados_cluster_uuid', 'arvados_api_host', 'arvados_workbench_host']
  33   if ! ENV.key?('baseurl') || ENV['baseurl'] == ""
  34     if !ENV.key?('WORKSPACE') || ENV['WORKSPACE'] == ""
  35       puts "The `baseurl` variable was not specified and the `WORKSPACE` environment variable is not set. Defaulting `baseurl` to file://#{pwd}/.site"
  36       ENV['baseurl'] = "file://#{pwd}/.site/"
  37     else
  38       puts "The `baseurl` variable was not specified, defaulting to a value derived from the `WORKSPACE` environment variable"
  39       ENV['baseurl'] = "file://#{ENV['WORKSPACE']}/doc/.site/"
  40     end
  41   end
  42   vars.each do |v|
  43     if ENV[v]
  44       website.config.h[v] = ENV[v]
  45     end
  46   end
  47 end
  48
  49 file ["install/new_cluster_checklist_Azure.xlsx", "install/new_cluster_checklist_AWS.xlsx"] do |t|
  50   cp(t, t)
  51 end
  52
  53 file "sdk/python/arvados.html" do |t|
  54   if ENV['NO_SDK'] || File.exist?("no-sdk")
  55     next
  56   end
  57   # pysdk_pdoc.py is a wrapper around the pdoc CLI. `which pdoc` is an easy
  58   # and good-enough test to check whether it's installed at all.
  59   `which pdoc`
  60   if $? == 0
  61     raise unless system("python3", "setup.py", "build",
  62                         chdir: "../sdk/python", out: :err)
  63     raise unless system("python3", "pysdk_pdoc.py",
  64                         out: :err)
  65   else
  66     puts "Warning: pdoc not found, Python documentation will not be generated".colorize(:light_red)
  67   end
  68 end
  69
  70 file "sdk/R/arvados/index.html" do |t|
  71   if ENV['NO_SDK'] || File.exist?("no-sdk")
  72     next
  73   end
  74   `which R`
  75   if $? == 0
  76     tgt = Dir.pwd
  77     Dir.mkdir("sdk/R")
  78     Dir.mkdir("sdk/R/arvados")
  79     puts("tgt", tgt)
  80     cp('css/R.css', 'sdk/R/arvados')
  81     docfiles = []
  82     Dir.chdir("../sdk/R/") do
  83       Dir.entries("man").each do |rd|
  84         if rd[-3..-1] == ".Rd"
  85           htmlfile = "#{rd[0..-4]}.html"
  86           `R CMD Rdconv -t html man/#{rd} > #{tgt}/sdk/R/arvados/#{htmlfile}`
  87           docfiles << htmlfile
  88         end
  89       end
  90     end
  91     raise if $? != 0
  92
  93     File.open("../sdk/R/README.md", "r") do |rd|
  94     File.open("sdk/R/index.html.md", "w") do |fn|
  95       fn.write(<<-EOF
  96 ---
  97 layout: default
  98 navsection: sdk
  99 navmenu: R
 100 title: "R SDK Overview"
 101 ...
 102
 103 #{rd.read}
 104 EOF
 105               )
 106       end
 107     end
 108
 109     File.open("sdk/R/arvados/index.html.textile.liquid", "w") do |fn|
 110       fn.write(<<-EOF
 111 ---
 112 layout: default
 113 navsection: sdk
 114 navmenu: R
 115 title: "R Reference"
 116 ...
 117 {% comment %}
 118 Copyright (C) The Arvados Authors. All rights reserved.
 119
 120 SPDX-License-Identifier: CC-BY-SA-3.0
 121 {% endcomment %}
 122
 123 EOF
 124               )
 125
 126       docfiles.sort.each do |d|
 127         fn.write("* \"#{d[0..-6]}\":#{d}\n")
 128       end
 129
 130     end
 131   else
 132     puts "Warning: R not found, R documentation will not be generated".colorize(:light_red)
 133   end
 134 end
 135
 136 file "sdk/java-v2/javadoc/index.html" do |t|
 137   if ENV['NO_SDK'] || File.exist?("no-sdk")
 138     next
 139   end
 140   `which java`
 141   if $? == 0
 142     `which gradle`
 143     if $? != 0
 144       puts "Warning: gradle not found, java sdk documentation will not be generated".colorize(:light_red)
 145     else
 146       tgt = Dir.pwd
 147       docfiles = []
 148       Dir.chdir("../sdk/java-v2") do
 149         STDERR.puts `gradle javadoc 2>&1`
 150         raise if $? != 0
 151         puts `sed -i "s/@import.*dejavu.css.*//g" build/docs/javadoc/stylesheet.css`
 152         raise if $? != 0
 153       end
 154       cp_r("../sdk/java-v2/build/docs/javadoc", "sdk/java-v2")
 155       raise if $? != 0
 156     end
 157   else
 158     puts "Warning: java not found, java sdk documentation will not be generated".colorize(:light_red)
 159   end
 160 end
 161
 162 task :linkchecker => [ :generate ] do
 163   Dir.chdir(".site") do
 164     `which linkchecker`
 165     if $? == 0
 166       # we need --check-extern to check relative links, weird but true
 167       system "linkchecker index.html --check-extern --ignore-url='!file://'" or exit $?.exitstatus
 168     else
 169       puts "Warning: linkchecker not found, skipping run".colorize(:light_red)
 170     end
 171   end
 172 end
 173
 174 task :import_vscode_training do
 175   Dir.chdir("user") do
 176   rm_rf "arvados-vscode-cwl-training"
 177   `git clone https://github.com/arvados/arvados-vscode-cwl-training`
 178   githash = `git --git-dir arvados-vscode-cwl-training/.git log -n1 --format=%H HEAD`
 179   File.open("cwl/arvados-vscode-training.html.md.liquid", "w") do |fn|
 180     File.open("arvados-vscode-cwl-training/README.md", "r") do |rd|
 181       fn.write(<<-EOF
 182 ---
 183 layout: default
 184 navsection: userguide
 185 title: "Developing CWL Workflows with VSCode"
 186 ...
 187 {% comment %}
 188 Copyright (C) The Arvados Authors. All rights reserved.
 189
 190 SPDX-License-Identifier: CC-BY-SA-3.0
 191
 192 Imported from https://github.com/arvados/arvados-vscode-cwl-training
 193 git hash: #{githash}
 194 {% endcomment %}
 195
 196 EOF
 197               )
 198                fn.write(rd.read())
 199     end
 200   end
 201   rm_rf "arvados-vscode-cwl-training"
 202   end
 203 end
 204
 205 task :clean do
 206   rm_rf "sdk/python/arvados"
 207   rm_f "sdk/python/arvados.html"
 208   rm_f "sdk/python/index.html"
 209   rm_rf "sdk/R"
 210   rm_rf "sdk/java-v2/javadoc"
 211 end
 212
 213 require "zenweb/tasks"
 214 load "zenweb-textile.rb"
 215 load "zenweb-liquid.rb"
 216 load "zenweb-fix-body.rb"
 217
 218 task :extra_wirings do
 219   $website.pages["sdk/python/python.html.textile.liquid"].depends_on("sdk/python/arvados.html")
 220 end