tools/salt-install/provision.sh

   1 #!/bin/bash
   2
   3 # Copyright (C) The Arvados Authors. All rights reserved.
   4 #
   5 # SPDX-License-Identifier: CC-BY-SA-3.0
   6
   7 # If you want to test arvados in a single host, you can run this script, which
   8 # will install it using salt masterless
   9 # This script is run by the Vagrant file when you run it with
  10 #
  11 # vagrant up
  12
  13 ##########################################################
  14 # This section are the basic parameters to configure the installation
  15
  16 # The 5 letters name you want to give your cluster
  17 CLUSTER="arva2"
  18 DOMAIN="arv.local"
  19
  20 INITIAL_USER="admin"
  21
  22 # If not specified, the initial user email will be composed as
  23 # INITIAL_USER@CLUSTER.DOMAIN
  24 INITIAL_USER_EMAIL="${INITIAL_USER}@${CLUSTER}.${DOMAIN}"
  25 INITIAL_USER_PASSWORD="password"
  26
  27 # The example config you want to use. Currently, only "single_host" is
  28 # available
  29 CONFIG_DIR="single_host"
  30
  31 # Which release of Arvados repo you want to use
  32 RELEASE="production"
  33 # Which version of Arvados you want to install. Defaults to 'latest'
  34 # in the desired repo
  35 VERSION="latest"
  36
  37 # Host SSL port where you want to point your browser to access Arvados
  38 # Defaults to 443 for regular runs, and to 8443 when called in Vagrant.
  39 # You can point it to another port if desired
  40 # In Vagrant, make sure it matches what you set in the Vagrantfile
  41 # HOST_SSL_PORT=443
  42
  43 # This is a arvados-formula setting.
  44 # If branch is set, the script will switch to it before running salt
  45 # Usually not needed, only used for testing
  46 # BRANCH="master"
  47
  48 ##########################################################
  49 # Usually there's no need to modify things below this line
  50
  51 set -o pipefail
  52
  53 # capture the directory that the script is running from
  54 SCRIPT_DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" >/dev/null 2>&1 && pwd )"
  55
  56 usage() {
  57   echo >&2
  58   echo >&2 "Usage: ${0} [-h] [-h]"
  59   echo >&2
  60   echo >&2 "${0} options:"
  61   echo >&2 "  -d, --debug             Run salt installation in debug mode"
  62   echo >&2 "  -p <N>, --ssl-port <N>  SSL port to use for the web applications"
  63   echo >&2 "  -t, --test              Test installation running a CWL workflow"
  64   echo >&2 "  -h, --help              Display this help and exit"
  65   echo >&2 "  -v, --vagrant           Run in vagrant and use the /vagrant shared dir"
  66   echo >&2
  67 }
  68
  69 arguments() {
  70   # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
  71   TEMP=$(getopt -o dhp:tv \
  72     --long debug,help,ssl-port:,test,vagrant \
  73     -n "${0}" -- "${@}")
  74
  75   if [ ${?} != 0 ] ; then echo "GNU getopt missing? Use -h for help"; exit 1 ; fi
  76   # Note the quotes around `$TEMP': they are essential!
  77   eval set -- "$TEMP"
  78
  79   while [ ${#} -ge 1 ]; do
  80     case ${1} in
  81       -d | --debug)
  82         LOG_LEVEL="debug"
  83         shift
  84         ;;
  85       -t | --test)
  86         TEST="yes"
  87         shift
  88         ;;
  89       -v | --vagrant)
  90         VAGRANT="yes"
  91         shift
  92         ;;
  93       -p | --ssl-port)
  94         HOST_SSL_PORT=${2}
  95         shift 2
  96         ;;
  97       --)
  98         shift
  99         break
 100         ;;
 101       *)
 102         usage
 103         exit 1
 104         ;;
 105     esac
 106   done
 107 }
 108
 109 LOG_LEVEL="info"
 110 HOST_SSL_PORT=443
 111 TESTS_DIR="tests"
 112
 113 arguments ${@}
 114
 115 # Salt's dir
 116 ## states
 117 S_DIR="/srv/salt"
 118 ## formulas
 119 F_DIR="/srv/formulas"
 120 ##pillars
 121 P_DIR="/srv/pillars"
 122
 123 apt-get update
 124 apt-get install -y curl git jq
 125
 126 dpkg -l |grep salt-minion
 127 if [ ${?} -eq 0 ]; then
 128   echo "Salt already installed"
 129 else
 130   curl -L https://bootstrap.saltstack.com -o /tmp/bootstrap_salt.sh
 131   sh /tmp/bootstrap_salt.sh -XUdfP -x python3
 132   /bin/systemctl disable salt-minion.service
 133 fi
 134
 135 # Set salt to masterless mode
 136 cat > /etc/salt/minion << EOFSM
 137 file_client: local
 138 file_roots:
 139   base:
 140     - ${S_DIR}
 141     - ${F_DIR}/*
 142     - ${F_DIR}/*/test/salt/states
 143
 144 pillar_roots:
 145   base:
 146     - ${P_DIR}
 147 EOFSM
 148
 149 mkdir -p ${S_DIR}
 150 mkdir -p ${F_DIR}
 151 mkdir -p ${P_DIR}
 152
 153 # States
 154 cat > ${S_DIR}/top.sls << EOFTSLS
 155 base:
 156   '*':
 157     - example_single_host_host_entries
 158     - example_add_snakeoil_certs
 159     - locale
 160     - nginx.passenger
 161     - postgres
 162     - docker
 163     - arvados
 164 EOFTSLS
 165
 166 # Pillars
 167 cat > ${P_DIR}/top.sls << EOFPSLS
 168 base:
 169   '*':
 170     - arvados
 171     - docker
 172     - locale
 173     - nginx_api_configuration
 174     - nginx_controller_configuration
 175     - nginx_keepproxy_configuration
 176     - nginx_keepweb_configuration
 177     - nginx_passenger
 178     - nginx_websocket_configuration
 179     - nginx_webshell_configuration
 180     - nginx_workbench2_configuration
 181     - nginx_workbench_configuration
 182     - postgresql
 183 EOFPSLS
 184
 185
 186 # Get the formula and dependencies
 187 cd ${F_DIR} || exit 1
 188 for f in postgres arvados nginx docker locale; do
 189   git clone https://github.com/saltstack-formulas/${f}-formula.git
 190 done
 191
 192 if [ "x${BRANCH}" != "x" ]; then
 193   cd ${F_DIR}/arvados-formula || exit 1
 194   git checkout -t origin/"${BRANCH}"
 195   cd -
 196 fi
 197
 198 if [ "x${VAGRANT}" = "xyes" ]; then
 199   SOURCE_PILLARS_DIR="/vagrant/${CONFIG_DIR}"
 200   TESTS_DIR="/vagrant/${TESTS_DIR}"
 201 else
 202   SOURCE_PILLARS_DIR="${SCRIPT_DIR}/${CONFIG_DIR}"
 203   TESTS_DIR="${SCRIPT_DIR}/${TESTS_DIR}"
 204 fi
 205
 206 # Replace cluster and domain name in the example pillars and test files
 207 for f in "${SOURCE_PILLARS_DIR}"/*; do
 208   sed "s/__CLUSTER__/${CLUSTER}/g;
 209        s/__DOMAIN__/${DOMAIN}/g;
 210        s/__RELEASE__/${RELEASE}/g;
 211        s/__HOST_SSL_PORT__/${HOST_SSL_PORT}/g;
 212        s/__GUEST_SSL_PORT__/${GUEST_SSL_PORT}/g;
 213        s/__INITIAL_USER__/${INITIAL_USER}/g;
 214        s/__INITIAL_USER_EMAIL__/${INITIAL_USER_EMAIL}/g;
 215        s/__INITIAL_USER_PASSWORD__/${INITIAL_USER_PASSWORD}/g;
 216        s/__VERSION__/${VERSION}/g" \
 217   "${f}" > "${P_DIR}"/$(basename "${f}")
 218 done
 219
 220 mkdir -p /tmp/cluster_tests
 221 # Replace cluster and domain name in the example pillars and test files
 222 for f in "${TESTS_DIR}"/*; do
 223   sed "s/__CLUSTER__/${CLUSTER}/g;
 224        s/__DOMAIN__/${DOMAIN}/g;
 225        s/__HOST_SSL_PORT__/${HOST_SSL_PORT}/g;
 226        s/__INITIAL_USER__/${INITIAL_USER}/g;
 227        s/__INITIAL_USER_EMAIL__/${INITIAL_USER_EMAIL}/g;
 228        s/__INITIAL_USER_PASSWORD__/${INITIAL_USER_PASSWORD}/g" \
 229   ${f} > /tmp/cluster_tests/$(basename ${f})
 230 done
 231 chmod 755 /tmp/cluster_tests/run-test.sh
 232
 233 # FIXME! #16992 Temporary fix for psql call in arvados-api-server
 234 if [ -e /root/.psqlrc ]; then
 235   if ! ( grep 'pset pager off' /root/.psqlrc ); then
 236     RESTORE_PSQL="yes"
 237     cp /root/.psqlrc /root/.psqlrc.provision.backup
 238   fi
 239 else
 240   DELETE_PSQL="yes"
 241 fi
 242
 243 echo '\pset pager off' >> /root/.psqlrc
 244 # END FIXME! #16992 Temporary fix for psql call in arvados-api-server
 245
 246 # Now run the install
 247 salt-call --local state.apply -l ${LOG_LEVEL}
 248
 249 # FIXME! #16992 Temporary fix for psql call in arvados-api-server
 250 if [ "x${DELETE_PSQL}" = "xyes" ]; then
 251   echo "Removing .psql file"
 252   rm /root/.psqlrc
 253 fi
 254
 255 if [ "x${RESTORE_PSQL}" = "xyes" ]; then
 256   echo "Restoring .psql file"
 257   mv -v /root/.psqlrc.provision.backup /root/.psqlrc
 258 fi
 259 # END FIXME! #16992 Temporary fix for psql call in arvados-api-server
 260
 261 # If running in a vagrant VM, add default user to docker group
 262 if [ "x${VAGRANT}" = "xyes" ]; then
 263   usermod -a -G docker vagrant
 264 fi
 265
 266 # Test that the installation finished correctly
 267 if [ "x${TEST}" = "xyes" ]; then
 268   cd /tmp/cluster_tests
 269   ./run-test.sh
 270 fi