tools/salt-install/installer.sh

   1 #!/bin/bash
   2
   3 # Copyright (C) The Arvados Authors. All rights reserved.
   4 #
   5 # SPDX-License-Identifier: CC-BY-SA-3.0
   6
   7 #
   8 # installer.sh
   9 #
  10 # Helps manage the configuration in a git repository, and then deploy
  11 # nodes by pushing a copy of the git repository to each node and
  12 # running the provision script to do the actual installation and
  13 # configuration.
  14 #
  15
  16 set -eu
  17 set -o pipefail
  18
  19 # The parameter file
  20 declare CONFIG_FILE=local.params
  21
  22 # The salt template directory
  23 declare CONFIG_DIR=local_config_dir
  24
  25 # The 5-character Arvados cluster id
  26 # This will be populated by loadconfig()
  27 declare CLUSTER
  28
  29 # The parent domain (not including the cluster id)
  30 # This will be populated by loadconfig()
  31 declare DOMAIN
  32
  33 # A bash associative array listing each node and mapping to the roles
  34 # that should be provisioned on those nodes.
  35 # This will be populated by loadconfig()
  36 declare -A NODES
  37
  38 # The ssh user we'll use
  39 # This will be populated by loadconfig()
  40 declare DEPLOY_USER
  41
  42 # The git repository that we'll push to on all the nodes
  43 # This will be populated by loadconfig()
  44 declare GITTARGET
  45
  46 # The public host used as an SSH jump host
  47 # This will be populated by loadconfig()
  48 declare USE_SSH_JUMPHOST
  49
  50 # The temp file that will get used to disable envvar forwarding to avoid locale
  51 # issues in Debian distros.
  52 # This will be populated by loadconfig()
  53 declare SSH_CONFFILE
  54
  55 checktools() {
  56     local MISSING=''
  57     for a in git ip ; do
  58         if ! which $a ; then
  59             MISSING="$MISSING $a"
  60         fi
  61     done
  62     if [[ -n "$MISSING" ]] ; then
  63         echo "Some tools are missing, please make sure you have the 'git' and 'iproute2' packages installed"
  64         exit 1
  65     fi
  66 }
  67
  68 cleanup() {
  69     local NODE=$1
  70     local SSH=`ssh_cmd "$NODE"`
  71     # Delete the old repository
  72     $SSH $DEPLOY_USER@$NODE rm -rf ${GITTARGET}.git ${GITTARGET}
  73 }
  74
  75 sync() {
  76     local NODE=$1
  77     local BRANCH=$2
  78
  79     # Synchronizes the configuration by creating a git repository on
  80     # each node, pushing our branch, and updating the checkout.
  81
  82     if [[ "$NODE" != localhost ]] ; then
  83         SSH=`ssh_cmd "$NODE"`
  84         GIT="eval `git_cmd $NODE`"
  85
  86         cleanup $NODE
  87
  88         # Update the git remote for the remote repository.
  89         if ! $GIT remote add $NODE $DEPLOY_USER@$NODE:${GITTARGET}.git ; then
  90             $GIT remote set-url $NODE $DEPLOY_USER@$NODE:${GITTARGET}.git
  91         fi
  92
  93         # Initialize the git repository.  We're
  94         # actually going to make two repositories here because git
  95         # will complain if you try to push to a repository with a
  96         # checkout. So we're going to create a "bare" repository
  97         # and then clone a regular repository (with a checkout)
  98         # from that.
  99
 100         $SSH $DEPLOY_USER@$NODE git init --bare --shared=0600 ${GITTARGET}.git
 101         $GIT push $NODE $BRANCH
 102         $SSH $DEPLOY_USER@$NODE "umask 0077 && git clone -s ${GITTARGET}.git ${GITTARGET} && git -C ${GITTARGET} checkout ${BRANCH}"
 103     fi
 104 }
 105
 106 deploynode() {
 107     local NODE=$1
 108     local ROLES=$2
 109
 110     # Deploy a node.  This runs the provision script on the node, with
 111     # the appropriate roles.
 112
 113     if [[ -z "$ROLES" ]] ; then
 114                 echo "No roles specified for $NODE, will deploy all roles"
 115     else
 116                 ROLES="--roles ${ROLES}"
 117     fi
 118
 119     logfile=deploy-${NODE}-$(date -Iseconds).log
 120     SSH=`ssh_cmd "$NODE"`
 121
 122     if [[ "$NODE" = localhost ]] ; then
 123             SUDO=''
 124                 if [[ $(whoami) != 'root' ]] ; then
 125                         SUDO=sudo
 126                 fi
 127                 $SUDO ./provision.sh --config ${CONFIG_FILE} ${ROLES} 2>&1 | tee $logfile
 128     else
 129             $SSH $DEPLOY_USER@$NODE "cd ${GITTARGET} && git log -n1 HEAD && sudo ./provision.sh --config ${CONFIG_FILE} ${ROLES}" 2>&1 | tee $logfile
 130             cleanup $NODE
 131     fi
 132 }
 133
 134 loadconfig() {
 135     if ! [[ -s ${CONFIG_FILE} && -s ${CONFIG_FILE}.secrets ]]; then
 136                 echo "Must be run from initialized setup dir, maybe you need to 'initialize' first?"
 137     fi
 138     source ${CONFIG_FILE}.secrets
 139     source ${CONFIG_FILE}
 140     GITTARGET=arvados-deploy-config-${CLUSTER}
 141
 142         # Set up SSH so that it doesn't forward any environment variable. This is to avoid
 143         # getting "setlocale" errors on the first run, depending on the distro being used
 144         # to run the installer (like Debian).
 145         SSH_CONFFILE=$(mktemp)
 146         echo "Include config SendEnv -*" > ${SSH_CONFFILE}
 147 }
 148
 149 ssh_cmd() {
 150         local NODE=$1
 151         if [ -z "${USE_SSH_JUMPHOST}" -o "${NODE}" == "${USE_SSH_JUMPHOST}" -o "${NODE}" == "localhost" ]; then
 152                 echo "ssh -F ${SSH_CONFFILE}"
 153         else
 154                 echo "ssh -F ${SSH_CONFFILE} -J ${DEPLOY_USER}@${USE_SSH_JUMPHOST}"
 155         fi
 156 }
 157
 158 git_cmd() {
 159         local NODE=$1
 160         echo "GIT_SSH_COMMAND=\"`ssh_cmd ${NODE}`\" git"
 161 }
 162
 163 set +u
 164 subcmd="$1"
 165 set -u
 166
 167 if [[ -n "$subcmd" ]] ; then
 168     shift
 169 fi
 170 case "$subcmd" in
 171     initialize)
 172         if [[ ! -f provision.sh ]] ; then
 173             echo "Must be run from arvados/tools/salt-install"
 174             exit
 175         fi
 176
 177         checktools
 178
 179         set +u
 180         SETUPDIR=$1
 181         PARAMS=$2
 182         SLS=$3
 183         TERRAFORM=$4
 184         set -u
 185
 186         err=
 187         if [[ -z "$PARAMS" || ! -f local.params.example.$PARAMS ]] ; then
 188             echo "Not found: local.params.example.$PARAMS"
 189             echo "Expected one of multiple_hosts, single_host_multiple_hostnames, single_host_single_hostname"
 190             err=1
 191         fi
 192
 193         if [[ -z "$SLS" || ! -d config_examples/$SLS ]] ; then
 194             echo "Not found: config_examples/$SLS"
 195             echo "Expected one of multi_host/aws, single_host/multiple_hostnames, single_host/single_hostname"
 196             err=1
 197         fi
 198
 199         if [[ -z "$SETUPDIR" || -z "$PARAMS" || -z "$SLS" ]]; then
 200             echo "installer.sh <setup dir to initialize> <params template> <config template>"
 201             err=1
 202         fi
 203
 204         if [[ -n "$err" ]] ; then
 205             exit 1
 206         fi
 207
 208         echo "Initializing $SETUPDIR"
 209         git init --shared=0600 $SETUPDIR
 210         cp -r *.sh tests $SETUPDIR
 211
 212         cp local.params.example.$PARAMS $SETUPDIR/${CONFIG_FILE}
 213         cp local.params.secrets.example $SETUPDIR/${CONFIG_FILE}.secrets
 214         cp -r config_examples/$SLS $SETUPDIR/${CONFIG_DIR}
 215
 216         if [[ -n "$TERRAFORM" ]] ; then
 217             mkdir $SETUPDIR/terraform
 218             cp -r $TERRAFORM/* $SETUPDIR/terraform/
 219         fi
 220
 221         cd $SETUPDIR
 222         echo '*.log' > .gitignore
 223         echo '**/.terraform' >> .gitignore
 224         echo '**/.infracost' >> .gitignore
 225
 226         if [[ -n "$TERRAFORM" ]] ; then
 227                 git add terraform
 228         fi
 229
 230         git add *.sh ${CONFIG_FILE} ${CONFIG_FILE}.secrets ${CONFIG_DIR} tests .gitignore
 231         git commit -m"initial commit"
 232
 233         echo
 234         echo "Setup directory $SETUPDIR initialized."
 235         if [[ -n "$TERRAFORM" ]] ; then
 236             (cd $SETUPDIR/terraform/vpc && terraform init)
 237             (cd $SETUPDIR/terraform/data-storage && terraform init)
 238             (cd $SETUPDIR/terraform/services && terraform init)
 239             echo "Now go to $SETUPDIR, customize 'terraform/vpc/terraform.tfvars' as needed, then run 'installer.sh terraform'"
 240         else
 241                 echo "Now go to $SETUPDIR, customize '${CONFIG_FILE}', '${CONFIG_FILE}.secrets' and '${CONFIG_DIR}' as needed, then run 'installer.sh deploy'"
 242         fi
 243         ;;
 244
 245     terraform)
 246         logfile=terraform-$(date -Iseconds).log
 247         (cd terraform/vpc && terraform apply -auto-approve) 2>&1 | tee -a $logfile
 248         (cd terraform/data-storage && terraform apply -auto-approve) 2>&1 | tee -a $logfile
 249         (cd terraform/services && terraform apply -auto-approve) 2>&1 | grep -v letsencrypt_iam_secret_access_key | tee -a $logfile
 250         (cd terraform/services && echo -n 'letsencrypt_iam_secret_access_key = ' && terraform output letsencrypt_iam_secret_access_key) 2>&1 | tee -a $logfile
 251         ;;
 252
 253     terraform-destroy)
 254         logfile=terraform-$(date -Iseconds).log
 255         (cd terraform/services && terraform destroy) 2>&1 | tee -a $logfile
 256         (cd terraform/data-storage && terraform destroy) 2>&1 | tee -a $logfile
 257         (cd terraform/vpc && terraform destroy) 2>&1 | tee -a $logfile
 258         ;;
 259
 260     generate-tokens)
 261         for i in BLOB_SIGNING_KEY MANAGEMENT_TOKEN SYSTEM_ROOT_TOKEN ANONYMOUS_USER_TOKEN WORKBENCH_SECRET_KEY DATABASE_PASSWORD; do
 262             echo ${i}=$(tr -dc A-Za-z0-9 </dev/urandom | head -c 32 ; echo '')
 263         done
 264         ;;
 265
 266     deploy)
 267         set +u
 268         NODE=$1
 269         set -u
 270
 271         checktools
 272
 273         loadconfig
 274
 275         if grep -rni 'fixme' ${CONFIG_FILE} ${CONFIG_FILE}.secrets ${CONFIG_DIR} ; then
 276             echo
 277             echo "Some parameters still need to be updated.  Please fix them and then re-run deploy."
 278             exit 1
 279         fi
 280
 281         BRANCH=$(git rev-parse --abbrev-ref HEAD)
 282
 283         set -x
 284
 285         git add -A
 286         if ! git diff --cached --exit-code --quiet ; then
 287             git commit -m"prepare for deploy"
 288         fi
 289
 290         if [[ -z "$NODE" ]]; then
 291             for NODE in "${!NODES[@]}"
 292             do
 293                 # First, push the git repo to each node.  This also
 294                 # confirms that we have git and can log into each
 295                 # node.
 296                 sync $NODE $BRANCH
 297             done
 298
 299             for NODE in "${!NODES[@]}"
 300             do
 301                 # Do 'database' role first,
 302                 if [[ "${NODES[$NODE]}" =~ database ]] ; then
 303                     deploynode $NODE "${NODES[$NODE]}"
 304                     unset NODES[$NODE]
 305                 fi
 306             done
 307
 308             for NODE in "${!NODES[@]}"
 309             do
 310                 # then 'api' or 'controller' roles
 311                 if [[ "${NODES[$NODE]}" =~ (api|controller) ]] ; then
 312                     deploynode $NODE "${NODES[$NODE]}"
 313                     unset NODES[$NODE]
 314                 fi
 315             done
 316
 317             for NODE in "${!NODES[@]}"
 318             do
 319                 # then 'balancer' role
 320                 if [[ "${NODES[$NODE]}" =~ (balancer) ]] ; then
 321                     deploynode $NODE "${NODES[$NODE]}"
 322                     unset NODES[$NODE]
 323                 fi
 324             done
 325
 326             for NODE in "${!NODES[@]}"
 327             do
 328                 # Everything else (we removed the nodes that we
 329                 # already deployed from the list)
 330                 deploynode $NODE "${NODES[$NODE]}"
 331             done
 332         else
 333             # Just deploy the node that was supplied on the command line.
 334             sync $NODE $BRANCH
 335             deploynode $NODE "${NODES[$NODE]}"
 336         fi
 337
 338         set +x
 339         echo
 340         echo "Completed deploy, run 'installer.sh diagnostics' to verify the install"
 341
 342         ;;
 343
 344     diagnostics)
 345         loadconfig
 346
 347         set +u
 348         declare LOCATION=$1
 349         set -u
 350
 351         if ! which arvados-client ; then
 352             echo "arvados-client not found, install 'arvados-client' package with 'apt-get' or 'yum'"
 353             exit 1
 354         fi
 355
 356         if [[ -z "$LOCATION" ]] ; then
 357             echo "Need to provide '-internal-client' or '-external-client'"
 358             echo
 359             echo "-internal-client    You are running this on the same private network as the Arvados cluster (e.g. on one of the Arvados nodes)"
 360             echo "-external-client    You are running this outside the private network of the Arvados cluster (e.g. your workstation)"
 361             exit 1
 362         fi
 363
 364         export ARVADOS_API_HOST="${DOMAIN}:${CONTROLLER_EXT_SSL_PORT}"
 365         export ARVADOS_API_TOKEN="$SYSTEM_ROOT_TOKEN"
 366
 367         arvados-client diagnostics $LOCATION
 368         ;;
 369
 370     *)
 371         echo "Arvados installer"
 372         echo ""
 373         echo "initialize        initialize the setup directory for configuration"
 374         echo "terraform         create cloud resources using terraform"
 375         echo "terraform-destroy destroy cloud resources created by terraform"
 376         echo "generate-tokens   generate random values for tokens"
 377         echo "deploy            deploy the configuration from the setup directory"
 378         echo "diagnostics       check your install using diagnostics"
 379         ;;
 380 esac