tools/salt-install/installer.sh

   1 #!/bin/bash
   2
   3 # Copyright (C) The Arvados Authors. All rights reserved.
   4 #
   5 # SPDX-License-Identifier: CC-BY-SA-3.0
   6
   7 #
   8 # installer.sh
   9 #
  10 # Helps manage the configuration in a git repository, and then deploy
  11 # nodes by pushing a copy of the git repository to each node and
  12 # running the provision script to do the actual installation and
  13 # configuration.
  14 #
  15
  16 set -eu
  17 set -o pipefail
  18
  19 # The parameter file
  20 declare CONFIG_FILE=local.params
  21
  22 # The salt template directory
  23 declare CONFIG_DIR=local_config_dir
  24
  25 # The 5-character Arvados cluster id
  26 # This will be populated by loadconfig()
  27 declare CLUSTER
  28
  29 # The parent domain (not including the cluster id)
  30 # This will be populated by loadconfig()
  31 declare DOMAIN
  32
  33 # A bash associative array listing each node and mapping to the roles
  34 # that should be provisioned on those nodes.
  35 # This will be populated by loadconfig()
  36 declare -A NODES
  37
  38 # The ssh user we'll use
  39 # This will be populated by loadconfig()
  40 declare DEPLOY_USER
  41
  42 # The git repository that we'll push to on all the nodes
  43 # This will be populated by loadconfig()
  44 declare GITTARGET
  45
  46 # The public host used as an SSH jump host
  47 # This will be populated by loadconfig()
  48 declare USE_SSH_JUMPHOST
  49
  50 checktools() {
  51     local MISSING=''
  52     for a in git ip ; do
  53         if ! which $a ; then
  54             MISSING="$MISSING $a"
  55         fi
  56     done
  57     if [[ -n "$MISSING" ]] ; then
  58         echo "Some tools are missing, please make sure you have the 'git' and 'iproute2' packages installed"
  59         exit 1
  60     fi
  61 }
  62
  63 cleanup() {
  64     local NODE=$1
  65     local SSH=`ssh_cmd "$NODE"`
  66     # Delete the old repository
  67     $SSH $DEPLOY_USER@$NODE rm -rf ${GITTARGET}.git ${GITTARGET}
  68 }
  69
  70 sync() {
  71     local NODE=$1
  72     local BRANCH=$2
  73
  74     # Synchronizes the configuration by creating a git repository on
  75     # each node, pushing our branch, and updating the checkout.
  76
  77     if [[ "$NODE" != localhost ]] ; then
  78         SSH=`ssh_cmd "$NODE"`
  79         GIT="eval `git_cmd $NODE`"
  80
  81         cleanup $NODE
  82
  83         # Update the git remote for the remote repository.
  84         if ! $GIT remote add $NODE $DEPLOY_USER@$NODE:${GITTARGET}.git ; then
  85             $GIT remote set-url $NODE $DEPLOY_USER@$NODE:${GITTARGET}.git
  86         fi
  87
  88         # Initialize the git repository.  We're
  89         # actually going to make two repositories here because git
  90         # will complain if you try to push to a repository with a
  91         # checkout. So we're going to create a "bare" repository
  92         # and then clone a regular repository (with a checkout)
  93         # from that.
  94
  95         $SSH $DEPLOY_USER@$NODE git init --bare --shared=0600 ${GITTARGET}.git
  96         $GIT push $NODE $BRANCH
  97         $SSH $DEPLOY_USER@$NODE "umask 0077 && git clone -s ${GITTARGET}.git ${GITTARGET} && git -C ${GITTARGET} checkout ${BRANCH}"
  98     fi
  99 }
 100
 101 deploynode() {
 102     local NODE=$1
 103     local ROLES=$2
 104
 105     # Deploy a node.  This runs the provision script on the node, with
 106     # the appropriate roles.
 107
 108     if [[ -z "$ROLES" ]] ; then
 109                 echo "No roles specified for $NODE, will deploy all roles"
 110     else
 111                 ROLES="--roles ${ROLES}"
 112     fi
 113
 114     logfile=deploy-${NODE}-$(date -Iseconds).log
 115     SSH=`ssh_cmd "$NODE"`
 116
 117     if [[ "$NODE" = localhost ]] ; then
 118             SUDO=''
 119                 if [[ $(whoami) != 'root' ]] ; then
 120                         SUDO=sudo
 121                 fi
 122                 $SUDO ./provision.sh --config ${CONFIG_FILE} ${ROLES} 2>&1 | tee $logfile
 123     else
 124             $SSH $DEPLOY_USER@$NODE "cd ${GITTARGET} && git log -n1 HEAD && sudo ./provision.sh --config ${CONFIG_FILE} ${ROLES}" 2>&1 | tee $logfile
 125             cleanup $NODE
 126     fi
 127 }
 128
 129 loadconfig() {
 130     if [[ ! -s $CONFIG_FILE ]] ; then
 131                 echo "Must be run from initialized setup dir, maybe you need to 'initialize' first?"
 132     fi
 133     source ${CONFIG_FILE}
 134     GITTARGET=arvados-deploy-config-${CLUSTER}
 135 }
 136
 137 ssh_cmd() {
 138         local NODE=$1
 139         if [ -z "${USE_SSH_JUMPHOST}" -o "${NODE}" == "${USE_SSH_JUMPHOST}" -o "${NODE}" == "localhost" ]; then
 140                 echo "ssh"
 141         else
 142                 echo "ssh -J ${DEPLOY_USER}@${USE_SSH_JUMPHOST}"
 143         fi
 144 }
 145
 146 git_cmd() {
 147         local NODE=$1
 148         echo "GIT_SSH_COMMAND=\"`ssh_cmd ${NODE}`\" git"
 149 }
 150
 151 set +u
 152 subcmd="$1"
 153 set -u
 154
 155 if [[ -n "$subcmd" ]] ; then
 156     shift
 157 fi
 158 case "$subcmd" in
 159     initialize)
 160         if [[ ! -f provision.sh ]] ; then
 161             echo "Must be run from arvados/tools/salt-install"
 162             exit
 163         fi
 164
 165         checktools
 166
 167         set +u
 168         SETUPDIR=$1
 169         PARAMS=$2
 170         SLS=$3
 171         TERRAFORM=$4
 172         set -u
 173
 174         err=
 175         if [[ -z "$PARAMS" || ! -f local.params.example.$PARAMS ]] ; then
 176             echo "Not found: local.params.example.$PARAMS"
 177             echo "Expected one of multiple_hosts, single_host_multiple_hostnames, single_host_single_hostname"
 178             err=1
 179         fi
 180
 181         if [[ -z "$SLS" || ! -d config_examples/$SLS ]] ; then
 182             echo "Not found: config_examples/$SLS"
 183             echo "Expected one of multi_host/aws, single_host/multiple_hostnames, single_host/single_hostname"
 184             err=1
 185         fi
 186
 187         if [[ -z "$SETUPDIR" || -z "$PARAMS" || -z "$SLS" ]]; then
 188             echo "installer.sh <setup dir to initialize> <params template> <config template>"
 189             err=1
 190         fi
 191
 192         if [[ -n "$err" ]] ; then
 193             exit 1
 194         fi
 195
 196         echo "Initializing $SETUPDIR"
 197         git init --shared=0600 $SETUPDIR
 198         cp -r *.sh tests $SETUPDIR
 199
 200         cp local.params.example.$PARAMS $SETUPDIR/${CONFIG_FILE}
 201         cp -r config_examples/$SLS $SETUPDIR/${CONFIG_DIR}
 202
 203         if [[ -n "$TERRAFORM" ]] ; then
 204             mkdir $SETUPDIR/terraform
 205             cp -r $TERRAFORM/* $SETUPDIR/terraform/
 206         fi
 207
 208         cd $SETUPDIR
 209         echo '*.log' > .gitignore
 210         echo '**/.terraform' >> .gitignore
 211         echo '**/.infracost' >> .gitignore
 212
 213         if [[ -n "$TERRAFORM" ]] ; then
 214                 git add terraform
 215         fi
 216
 217         git add *.sh ${CONFIG_FILE} ${CONFIG_DIR} tests .gitignore
 218         git commit -m"initial commit"
 219
 220         echo
 221         echo "Setup directory $SETUPDIR initialized."
 222         if [[ -n "$TERRAFORM" ]] ; then
 223             (cd $SETUPDIR/terraform/vpc && terraform init)
 224             (cd $SETUPDIR/terraform/data-storage && terraform init)
 225             (cd $SETUPDIR/terraform/services && terraform init)
 226             echo "Now go to $SETUPDIR, customize 'terraform/vpc/terraform.tfvars' as needed, then run 'installer.sh terraform'"
 227         else
 228             echo "Now go to $SETUPDIR, customize '${CONFIG_FILE}' and '${CONFIG_DIR}' as needed, then run 'installer.sh deploy'"
 229         fi
 230         ;;
 231
 232     terraform)
 233         logfile=terraform-$(date -Iseconds).log
 234         (cd terraform/vpc && terraform apply -auto-approve) 2>&1 | tee -a $logfile
 235         (cd terraform/data-storage && terraform apply -auto-approve) 2>&1 | tee -a $logfile
 236         (cd terraform/services && terraform apply -auto-approve) 2>&1 | grep -v letsencrypt_iam_secret_access_key | tee -a $logfile
 237         (cd terraform/services && echo -n 'letsencrypt_iam_secret_access_key = ' && terraform output letsencrypt_iam_secret_access_key) 2>&1 | tee -a $logfile
 238         ;;
 239
 240     terraform-destroy)
 241         logfile=terraform-$(date -Iseconds).log
 242         (cd terraform/services && terraform destroy) 2>&1 | tee -a $logfile
 243         (cd terraform/data-storage && terraform destroy) 2>&1 | tee -a $logfile
 244         (cd terraform/vpc && terraform destroy) 2>&1 | tee -a $logfile
 245         ;;
 246
 247     generate-tokens)
 248         for i in BLOB_SIGNING_KEY MANAGEMENT_TOKEN SYSTEM_ROOT_TOKEN ANONYMOUS_USER_TOKEN WORKBENCH_SECRET_KEY DATABASE_PASSWORD; do
 249             echo ${i}=$(tr -dc A-Za-z0-9 </dev/urandom | head -c 32 ; echo '')
 250         done
 251         ;;
 252
 253     deploy)
 254         set +u
 255         NODE=$1
 256         set -u
 257
 258         checktools
 259
 260         loadconfig
 261
 262         if grep -rni 'fixme' ${CONFIG_FILE} ${CONFIG_DIR} ; then
 263             echo
 264             echo "Some parameters still need to be updated.  Please fix them and then re-run deploy."
 265             exit 1
 266         fi
 267
 268         BRANCH=$(git rev-parse --abbrev-ref HEAD)
 269
 270         set -x
 271
 272         git add -A
 273         if ! git diff --cached --exit-code ; then
 274             git commit -m"prepare for deploy"
 275         fi
 276
 277         if [[ -z "$NODE" ]]; then
 278             for NODE in "${!NODES[@]}"
 279             do
 280                 # First, push the git repo to each node.  This also
 281                 # confirms that we have git and can log into each
 282                 # node.
 283                 sync $NODE $BRANCH
 284             done
 285
 286             for NODE in "${!NODES[@]}"
 287             do
 288                 # Do 'database' role first,
 289                 if [[ "${NODES[$NODE]}" =~ database ]] ; then
 290                     deploynode $NODE "${NODES[$NODE]}"
 291                     unset NODES[$NODE]
 292                 fi
 293             done
 294
 295             for NODE in "${!NODES[@]}"
 296             do
 297                 # then  'api' or 'controller' roles
 298                 if [[ "${NODES[$NODE]}" =~ (api|controller) ]] ; then
 299                     deploynode $NODE "${NODES[$NODE]}"
 300                     unset NODES[$NODE]
 301                 fi
 302             done
 303
 304             for NODE in "${!NODES[@]}"
 305             do
 306                 # Everything else (we removed the nodes that we
 307                 # already deployed from the list)
 308                 deploynode $NODE "${NODES[$NODE]}"
 309             done
 310         else
 311             # Just deploy the node that was supplied on the command line.
 312             sync $NODE $BRANCH
 313             deploynode $NODE "${NODES[$NODE]}"
 314         fi
 315
 316         set +x
 317         echo
 318         echo "Completed deploy, run 'installer.sh diagnostics' to verify the install"
 319
 320         ;;
 321
 322     diagnostics)
 323         loadconfig
 324
 325         set +u
 326         declare LOCATION=$1
 327         set -u
 328
 329         if ! which arvados-client ; then
 330             echo "arvados-client not found, install 'arvados-client' package with 'apt-get' or 'yum'"
 331             exit 1
 332         fi
 333
 334         if [[ -z "$LOCATION" ]] ; then
 335             echo "Need to provide '-internal-client' or '-external-client'"
 336             echo
 337             echo "-internal-client    You are running this on the same private network as the Arvados cluster (e.g. on one of the Arvados nodes)"
 338             echo "-external-client    You are running this outside the private network of the Arvados cluster (e.g. your workstation)"
 339             exit 1
 340         fi
 341
 342         export ARVADOS_API_HOST="${DOMAIN}:${CONTROLLER_EXT_SSL_PORT}"
 343         export ARVADOS_API_TOKEN="$SYSTEM_ROOT_TOKEN"
 344
 345         arvados-client diagnostics $LOCATION
 346         ;;
 347
 348     *)
 349         echo "Arvados installer"
 350         echo ""
 351         echo "initialize        initialize the setup directory for configuration"
 352         echo "terraform         create cloud resources using terraform"
 353         echo "terraform-destroy destroy cloud resources created by terraform"
 354         echo "generate-tokens   generate random values for tokens"
 355         echo "deploy            deploy the configuration from the setup directory"
 356         echo "diagnostics       check your install using diagnostics"
 357         ;;
 358 esac