tools/salt-install/installer.sh

   1 #!/bin/bash
   2
   3 # Copyright (C) The Arvados Authors. All rights reserved.
   4 #
   5 # SPDX-License-Identifier: CC-BY-SA-3.0
   6
   7 #
   8 # installer.sh
   9 #
  10 # Helps manage the configuration in a git repository, and then deploy
  11 # nodes by pushing a copy of the git repository to each node and
  12 # running the provision script to do the actual installation and
  13 # configuration.
  14 #
  15
  16 set -eu
  17 set -o pipefail
  18
  19 # The parameter file
  20 declare CONFIG_FILE=local.params
  21
  22 # The salt template directory
  23 declare CONFIG_DIR=local_config_dir
  24
  25 # The 5-character Arvados cluster id
  26 # This will be populated by loadconfig()
  27 declare CLUSTER
  28
  29 # The parent domain (not including the cluster id)
  30 # This will be populated by loadconfig()
  31 declare DOMAIN
  32
  33 # A bash associative array listing each node and mapping to the roles
  34 # that should be provisioned on those nodes.
  35 # This will be populated by loadconfig()
  36 declare -A NODES
  37
  38 # The ssh user we'll use
  39 # This will be populated by loadconfig()
  40 declare DEPLOY_USER
  41
  42 # The git repository that we'll push to on all the nodes
  43 # This will be populated by loadconfig()
  44 declare GITTARGET
  45
  46 # The public host used as an SSH jump host
  47 # This will be populated by loadconfig()
  48 declare USE_SSH_JUMPHOST
  49
  50 # The temp file that will get used to disable envvar forwarding to avoid locale
  51 # issues in Debian distros.
  52 # This will be populated by loadconfig()
  53 declare SSH_CONFFILE
  54
  55 checktools() {
  56     local MISSING=''
  57     for a in git ip ; do
  58         if ! which $a ; then
  59             MISSING="$MISSING $a"
  60         fi
  61     done
  62     if [[ -n "$MISSING" ]] ; then
  63         echo "Some tools are missing, please make sure you have the 'git' and 'iproute2' packages installed"
  64         exit 1
  65     fi
  66 }
  67
  68 cleanup() {
  69     local NODE=$1
  70     local SSH=`ssh_cmd "$NODE"`
  71     # Delete the old repository
  72     $SSH $DEPLOY_USER@$NODE rm -rf ${GITTARGET}.git ${GITTARGET}
  73 }
  74
  75 sync() {
  76     local NODE=$1
  77     local BRANCH=$2
  78
  79     # Synchronizes the configuration by creating a git repository on
  80     # each node, pushing our branch, and updating the checkout.
  81
  82     if [[ "$NODE" != localhost ]] ; then
  83         SSH=`ssh_cmd "$NODE"`
  84         GIT="eval `git_cmd $NODE`"
  85
  86         cleanup $NODE
  87
  88         # Update the git remote for the remote repository.
  89         if ! $GIT remote add $NODE $DEPLOY_USER@$NODE:${GITTARGET}.git ; then
  90             $GIT remote set-url $NODE $DEPLOY_USER@$NODE:${GITTARGET}.git
  91         fi
  92
  93         # Initialize the git repository.  We're
  94         # actually going to make two repositories here because git
  95         # will complain if you try to push to a repository with a
  96         # checkout. So we're going to create a "bare" repository
  97         # and then clone a regular repository (with a checkout)
  98         # from that.
  99
 100         $SSH $DEPLOY_USER@$NODE git init --bare --shared=0600 ${GITTARGET}.git
 101         $GIT push $NODE $BRANCH
 102         $SSH $DEPLOY_USER@$NODE "umask 0077 && git clone -s ${GITTARGET}.git ${GITTARGET} && git -C ${GITTARGET} checkout ${BRANCH}"
 103     fi
 104 }
 105
 106 deploynode() {
 107     local NODE=$1
 108     local ROLES=$2
 109     local BRANCH=$3
 110
 111     # Deploy a node.  This runs the provision script on the node, with
 112     # the appropriate roles.
 113
 114     sync $NODE $BRANCH
 115
 116     if [[ -z "$ROLES" ]] ; then
 117                 echo "No roles specified for $NODE, will deploy all roles"
 118     else
 119                 ROLES="--roles ${ROLES}"
 120     fi
 121
 122     logfile=deploy-${NODE}-$(date -Iseconds).log
 123     SSH=`ssh_cmd "$NODE"`
 124
 125     if [[ "$NODE" = localhost ]] ; then
 126             SUDO=''
 127                 if [[ $(whoami) != 'root' ]] ; then
 128                         SUDO=sudo
 129                 fi
 130                 $SUDO ./provision.sh --config ${CONFIG_FILE} ${ROLES} 2>&1 | tee $logfile
 131     else
 132             $SSH $DEPLOY_USER@$NODE "cd ${GITTARGET} && git log -n1 HEAD && sudo ./provision.sh --config ${CONFIG_FILE} ${ROLES}" 2>&1 | tee $logfile
 133             cleanup $NODE
 134     fi
 135 }
 136
 137 loadconfig() {
 138     if ! [[ -s ${CONFIG_FILE} && -s ${CONFIG_FILE}.secrets ]]; then
 139                 echo "Must be run from initialized setup dir, maybe you need to 'initialize' first?"
 140     fi
 141     source common.sh
 142     GITTARGET=arvados-deploy-config-${CLUSTER}
 143
 144         # Set up SSH so that it doesn't forward any environment variable. This is to avoid
 145         # getting "setlocale" errors on the first run, depending on the distro being used
 146         # to run the installer (like Debian).
 147         SSH_CONFFILE=$(mktemp)
 148         echo "Include config SendEnv -*" > ${SSH_CONFFILE}
 149 }
 150
 151 ssh_cmd() {
 152         local NODE=$1
 153         if [ -z "${USE_SSH_JUMPHOST}" -o "${NODE}" == "${USE_SSH_JUMPHOST}" -o "${NODE}" == "localhost" ]; then
 154                 echo "ssh -F ${SSH_CONFFILE}"
 155         else
 156                 echo "ssh -F ${SSH_CONFFILE} -J ${DEPLOY_USER}@${USE_SSH_JUMPHOST}"
 157         fi
 158 }
 159
 160 git_cmd() {
 161         local NODE=$1
 162         echo "GIT_SSH_COMMAND=\"`ssh_cmd ${NODE}`\" git"
 163 }
 164
 165 set +u
 166 subcmd="$1"
 167 set -u
 168
 169 if [[ -n "$subcmd" ]] ; then
 170     shift
 171 fi
 172 case "$subcmd" in
 173     initialize)
 174         if [[ ! -f provision.sh ]] ; then
 175             echo "Must be run from arvados/tools/salt-install"
 176             exit
 177         fi
 178
 179         checktools
 180
 181         set +u
 182         SETUPDIR=$1
 183         PARAMS=$2
 184         SLS=$3
 185         TERRAFORM=$4
 186         set -u
 187
 188         err=
 189         if [[ -z "$PARAMS" || ! -f local.params.example.$PARAMS ]] ; then
 190             echo "Not found: local.params.example.$PARAMS"
 191             echo "Expected one of multiple_hosts, single_host_multiple_hostnames, single_host_single_hostname"
 192             err=1
 193         fi
 194
 195         if [[ -z "$SLS" || ! -d config_examples/$SLS ]] ; then
 196             echo "Not found: config_examples/$SLS"
 197             echo "Expected one of multi_host/aws, single_host/multiple_hostnames, single_host/single_hostname"
 198             err=1
 199         fi
 200
 201         if [[ -z "$SETUPDIR" || -z "$PARAMS" || -z "$SLS" ]]; then
 202             echo "installer.sh <setup dir to initialize> <params template> <config template>"
 203             err=1
 204         fi
 205
 206         if [[ -n "$err" ]] ; then
 207             exit 1
 208         fi
 209
 210         echo "Initializing $SETUPDIR"
 211         git init --shared=0600 $SETUPDIR
 212         cp -r *.sh tests $SETUPDIR
 213
 214         cp local.params.example.$PARAMS $SETUPDIR/${CONFIG_FILE}
 215         cp local.params.secrets.example $SETUPDIR/${CONFIG_FILE}.secrets
 216         cp -r config_examples/$SLS $SETUPDIR/${CONFIG_DIR}
 217
 218         if [[ -n "$TERRAFORM" ]] ; then
 219             mkdir $SETUPDIR/terraform
 220             cp -r $TERRAFORM/* $SETUPDIR/terraform/
 221         fi
 222
 223         cd $SETUPDIR
 224         echo '*.log' > .gitignore
 225         echo '**/.terraform' >> .gitignore
 226         echo '**/.infracost' >> .gitignore
 227
 228         if [[ -n "$TERRAFORM" ]] ; then
 229                 git add terraform
 230         fi
 231
 232         git add *.sh ${CONFIG_FILE} ${CONFIG_FILE}.secrets ${CONFIG_DIR} tests .gitignore
 233         git commit -m"initial commit"
 234
 235         echo
 236         echo "Setup directory $SETUPDIR initialized."
 237         if [[ -n "$TERRAFORM" ]] ; then
 238             (cd $SETUPDIR/terraform/vpc && terraform init)
 239             (cd $SETUPDIR/terraform/data-storage && terraform init)
 240             (cd $SETUPDIR/terraform/services && terraform init)
 241             echo "Now go to $SETUPDIR, customize 'terraform/vpc/terraform.tfvars' as needed, then run 'installer.sh terraform'"
 242         else
 243                 echo "Now go to $SETUPDIR, customize '${CONFIG_FILE}', '${CONFIG_FILE}.secrets' and '${CONFIG_DIR}' as needed, then run 'installer.sh deploy'"
 244         fi
 245         ;;
 246
 247     terraform)
 248         logfile=terraform-$(date -Iseconds).log
 249         (cd terraform/vpc && terraform apply -auto-approve) 2>&1 | tee -a $logfile
 250         (cd terraform/data-storage && terraform apply -auto-approve) 2>&1 | tee -a $logfile
 251         (cd terraform/services && terraform apply -auto-approve) 2>&1 | grep -v letsencrypt_iam_secret_access_key | tee -a $logfile
 252         (cd terraform/services && echo -n 'letsencrypt_iam_secret_access_key = ' && terraform output letsencrypt_iam_secret_access_key) 2>&1 | tee -a $logfile
 253         ;;
 254
 255     terraform-destroy)
 256         logfile=terraform-$(date -Iseconds).log
 257         (cd terraform/services && terraform destroy) 2>&1 | tee -a $logfile
 258         (cd terraform/data-storage && terraform destroy) 2>&1 | tee -a $logfile
 259         (cd terraform/vpc && terraform destroy) 2>&1 | tee -a $logfile
 260         ;;
 261
 262     generate-tokens)
 263         for i in BLOB_SIGNING_KEY MANAGEMENT_TOKEN SYSTEM_ROOT_TOKEN ANONYMOUS_USER_TOKEN WORKBENCH_SECRET_KEY DATABASE_PASSWORD; do
 264             echo ${i}=$(tr -dc A-Za-z0-9 </dev/urandom | head -c 32 ; echo '')
 265         done
 266         ;;
 267
 268     deploy)
 269         set +u
 270         NODE=$1
 271         set -u
 272
 273         checktools
 274
 275         loadconfig
 276
 277         if grep -rni 'fixme' ${CONFIG_FILE} ${CONFIG_FILE}.secrets ${CONFIG_DIR} ; then
 278             echo
 279             echo "Some parameters still need to be updated.  Please fix them and then re-run deploy."
 280             exit 1
 281         fi
 282
 283         BRANCH=$(git rev-parse --abbrev-ref HEAD)
 284
 285         set -x
 286
 287         git add -A
 288         if ! git diff --cached --exit-code --quiet ; then
 289             git commit -m"prepare for deploy"
 290         fi
 291
 292         if [[ -z "$NODE" ]]; then
 293             for NODE in "${!NODES[@]}"
 294             do
 295                 # First, just confirm we can ssh to each node.
 296                 `ssh_cmd "$NODE"` $DEPLOY_USER@$NODE true
 297             done
 298
 299             for NODE in "${!NODES[@]}"
 300             do
 301                 # Do 'database' role first,
 302                 if [[ "${NODES[$NODE]}" =~ database ]] ; then
 303                     deploynode $NODE "${NODES[$NODE]}" $BRANCH
 304                     unset NODES[$NODE]
 305                 fi
 306             done
 307
 308             for NODE in "${!NODES[@]}"
 309             do
 310                 # then 'balancer' role
 311                 if [[ "${NODES[$NODE]}" =~ balancer ]] ; then
 312                     deploynode $NODE "${NODES[$NODE]}"
 313                     unset NODES[$NODE]
 314                 fi
 315             done
 316
 317             for NODE in "${!NODES[@]}"
 318             do
 319                 # then 'controller' role
 320                 if [[ "${NODES[$NODE]}" =~ controller ]] ; then
 321                     deploynode $NODE "${NODES[$NODE]}"
 322                     unset NODES[$NODE]
 323                 fi
 324             done
 325
 326             for NODE in "${!NODES[@]}"
 327             do
 328                 # Everything else (we removed the nodes that we
 329                 # already deployed from the list)
 330                 deploynode $NODE "${NODES[$NODE]}" $BRANCH
 331             done
 332         else
 333             # Just deploy the node that was supplied on the command line.
 334             deploynode $NODE "${NODES[$NODE]}" $BRANCH
 335         fi
 336
 337         set +x
 338         echo
 339         echo "Completed deploy, run 'installer.sh diagnostics' to verify the install"
 340
 341         ;;
 342
 343     diagnostics)
 344         loadconfig
 345
 346         set +u
 347         declare LOCATION=$1
 348         set -u
 349
 350         if ! which arvados-client ; then
 351             echo "arvados-client not found, install 'arvados-client' package with 'apt-get' or 'yum'"
 352             exit 1
 353         fi
 354
 355         if [[ -z "$LOCATION" ]] ; then
 356             echo "Need to provide '-internal-client' or '-external-client'"
 357             echo
 358             echo "-internal-client    You are running this on the same private network as the Arvados cluster (e.g. on one of the Arvados nodes)"
 359             echo "-external-client    You are running this outside the private network of the Arvados cluster (e.g. your workstation)"
 360             exit 1
 361         fi
 362
 363         export ARVADOS_API_HOST="${DOMAIN}:${CONTROLLER_EXT_SSL_PORT}"
 364         export ARVADOS_API_TOKEN="$SYSTEM_ROOT_TOKEN"
 365
 366         arvados-client diagnostics $LOCATION
 367         ;;
 368
 369     *)
 370         echo "Arvados installer"
 371         echo ""
 372         echo "initialize        initialize the setup directory for configuration"
 373         echo "terraform         create cloud resources using terraform"
 374         echo "terraform-destroy destroy cloud resources created by terraform"
 375         echo "generate-tokens   generate random values for tokens"
 376         echo "deploy            deploy the configuration from the setup directory"
 377         echo "diagnostics       check your install using diagnostics"
 378         ;;
 379 esac