tools/salt-install/installer.sh

   1 #!/bin/bash
   2
   3 # Copyright (C) The Arvados Authors. All rights reserved.
   4 #
   5 # SPDX-License-Identifier: CC-BY-SA-3.0
   6
   7 #
   8 # installer.sh
   9 #
  10 # Helps manage the configuration in a git repository, and then deploy
  11 # nodes by pushing a copy of the git repository to each node and
  12 # running the provision script to do the actual installation and
  13 # configuration.
  14 #
  15
  16 set -eu
  17 set -o pipefail
  18
  19 # The parameter file
  20 declare CONFIG_FILE=local.params
  21
  22 # The salt template directory
  23 declare CONFIG_DIR=local_config_dir
  24
  25 # The 5-character Arvados cluster id
  26 # This will be populated by loadconfig()
  27 declare CLUSTER
  28
  29 # The parent domain (not including the cluster id)
  30 # This will be populated by loadconfig()
  31 declare DOMAIN
  32
  33 # A bash associative array listing each node and mapping to the roles
  34 # that should be provisioned on those nodes.
  35 # This will be populated by loadconfig()
  36 declare -A NODES
  37
  38 # The ssh user we'll use
  39 # This will be populated by loadconfig()
  40 declare DEPLOY_USER
  41
  42 # The git repository that we'll push to on all the nodes
  43 # This will be populated by loadconfig()
  44 declare GITTARGET
  45
  46 # The public host used as an SSH jump host
  47 # This will be populated by loadconfig()
  48 declare USE_SSH_JUMPHOST
  49
  50 checktools() {
  51     local MISSING=''
  52     for a in git ip ; do
  53         if ! which $a ; then
  54             MISSING="$MISSING $a"
  55         fi
  56     done
  57     if [[ -n "$MISSING" ]] ; then
  58         echo "Some tools are missing, please make sure you have the 'git' and 'iproute2' packages installed"
  59         exit 1
  60     fi
  61 }
  62
  63 sync() {
  64     local NODE=$1
  65     local BRANCH=$2
  66
  67     # Synchronizes the configuration by creating a git repository on
  68     # each node, pushing our branch, and updating the checkout.
  69
  70     if [[ "$NODE" != localhost ]] ; then
  71                 SSH=`ssh_cmd "$NODE"`
  72                 GIT="eval `git_cmd $NODE`"
  73                 if ! $SSH $DEPLOY_USER@$NODE test -d ${GITTARGET}.git ; then
  74
  75                         # Initialize the git repository (1st time case).  We're
  76                         # actually going to make two repositories here because git
  77                         # will complain if you try to push to a repository with a
  78                         # checkout. So we're going to create a "bare" repository
  79                         # and then clone a regular repository (with a checkout)
  80                         # from that.
  81
  82                         $SSH $DEPLOY_USER@$NODE git init --bare --shared=0600 ${GITTARGET}.git
  83                         if ! $GIT remote add $NODE $DEPLOY_USER@$NODE:${GITTARGET}.git ; then
  84                                 $GIT remote set-url $NODE $DEPLOY_USER@$NODE:${GITTARGET}.git
  85                         fi
  86                         $GIT push $NODE $BRANCH
  87                         $SSH $DEPLOY_USER@$NODE "umask 0077 && git clone ${GITTARGET}.git ${GITTARGET}"
  88                 fi
  89
  90                 # The update case.
  91                 #
  92                 # Push to the bare repository on the remote node, then in the
  93                 # remote node repository with the checkout, pull the branch
  94                 # from the bare repository.
  95
  96                 $GIT push $NODE $BRANCH
  97                 $SSH $DEPLOY_USER@$NODE "git -C ${GITTARGET} checkout ${BRANCH} && git -C ${GITTARGET} pull"
  98     fi
  99 }
 100
 101 deploynode() {
 102     local NODE=$1
 103     local ROLES=$2
 104
 105     # Deploy a node.  This runs the provision script on the node, with
 106     # the appropriate roles.
 107
 108     if [[ -z "$ROLES" ]] ; then
 109                 echo "No roles specified for $NODE, will deploy all roles"
 110     else
 111                 ROLES="--roles ${ROLES}"
 112     fi
 113
 114     logfile=deploy-${NODE}-$(date -Iseconds).log
 115         SSH=`ssh_cmd "$NODE"`
 116
 117     if [[ "$NODE" = localhost ]] ; then
 118             SUDO=''
 119                 if [[ $(whoami) != 'root' ]] ; then
 120                         SUDO=sudo
 121                 fi
 122                 $SUDO ./provision.sh --config ${CONFIG_FILE} ${ROLES} 2>&1 | tee $logfile
 123         else
 124                 $SSH $DEPLOY_USER@$NODE "cd ${GITTARGET} && sudo ./provision.sh --config ${CONFIG_FILE} ${ROLES}" 2>&1 | tee $logfile
 125     fi
 126 }
 127
 128 loadconfig() {
 129     if [[ ! -s $CONFIG_FILE ]] ; then
 130                 echo "Must be run from initialized setup dir, maybe you need to 'initialize' first?"
 131     fi
 132     source ${CONFIG_FILE}
 133     GITTARGET=arvados-deploy-config-${CLUSTER}
 134 }
 135
 136 ssh_cmd() {
 137         local NODE=$1
 138         if [ -z "${USE_SSH_JUMPHOST}" -o "${NODE}" == "${USE_SSH_JUMPHOST}" -o "${NODE}" == "localhost" ]; then
 139                 echo "ssh"
 140         else
 141                 echo "ssh -J ${DEPLOY_USER}@${USE_SSH_JUMPHOST}"
 142         fi
 143 }
 144
 145 git_cmd() {
 146         local NODE=$1
 147         echo "GIT_SSH_COMMAND=\"`ssh_cmd ${NODE}`\" git"
 148 }
 149
 150 set +u
 151 subcmd="$1"
 152 set -u
 153
 154 if [[ -n "$subcmd" ]] ; then
 155     shift
 156 fi
 157 case "$subcmd" in
 158     initialize)
 159         if [[ ! -f provision.sh ]] ; then
 160             echo "Must be run from arvados/tools/salt-install"
 161             exit
 162         fi
 163
 164         checktools
 165
 166         set +u
 167         SETUPDIR=$1
 168         PARAMS=$2
 169         SLS=$3
 170         TERRAFORM=$4
 171         set -u
 172
 173         err=
 174         if [[ -z "$PARAMS" || ! -f local.params.example.$PARAMS ]] ; then
 175             echo "Not found: local.params.example.$PARAMS"
 176             echo "Expected one of multiple_hosts, single_host_multiple_hostnames, single_host_single_hostname"
 177             err=1
 178         fi
 179
 180         if [[ -z "$SLS" || ! -d config_examples/$SLS ]] ; then
 181             echo "Not found: config_examples/$SLS"
 182             echo "Expected one of multi_host/aws, single_host/multiple_hostnames, single_host/single_hostname"
 183             err=1
 184         fi
 185
 186         if [[ -z "$SETUPDIR" || -z "$PARAMS" || -z "$SLS" ]]; then
 187             echo "installer.sh <setup dir to initialize> <params template> <config template>"
 188             err=1
 189         fi
 190
 191         if [[ -n "$err" ]] ; then
 192             exit 1
 193         fi
 194
 195         echo "Initializing $SETUPDIR"
 196         git init --shared=0600 $SETUPDIR
 197         cp -r *.sh tests $SETUPDIR
 198
 199         cp local.params.example.$PARAMS $SETUPDIR/${CONFIG_FILE}
 200         cp -r config_examples/$SLS $SETUPDIR/${CONFIG_DIR}
 201
 202         if [[ -n "$TERRAFORM" ]] ; then
 203             mkdir $SETUPDIR/terraform
 204             cp -r $TERRAFORM/* $SETUPDIR/terraform/
 205                 cp $TERRAFORM/.gitignore $SETUPDIR/terraform/
 206         fi
 207
 208         cd $SETUPDIR
 209         echo '*.log' > .gitignore
 210
 211         if [[ -n "$TERRAFORM" ]] ; then
 212                 git add terraform
 213         fi
 214
 215         git add *.sh ${CONFIG_FILE} ${CONFIG_DIR} tests .gitignore
 216         git commit -m"initial commit"
 217
 218         echo
 219         echo "Setup directory $SETUPDIR initialized."
 220         if [[ -n "$TERRAFORM" ]] ; then
 221             (cd $SETUPDIR/terraform/vpc && terraform init)
 222             (cd $SETUPDIR/terraform/data-storage && terraform init)
 223             (cd $SETUPDIR/terraform/services && terraform init)
 224             echo "Now go to $SETUPDIR, customize 'terraform/vpc/terraform.tfvars' as needed, then run 'installer.sh terraform'"
 225         else
 226             echo "Now go to $SETUPDIR, customize '${CONFIG_FILE}' and '${CONFIG_DIR}' as needed, then run 'installer.sh deploy'"
 227         fi
 228         ;;
 229
 230     terraform)
 231         logfile=terraform-$(date -Iseconds).log
 232         (cd terraform/vpc && terraform apply -auto-approve) 2>&1 | tee -a $logfile
 233         (cd terraform/data-storage && terraform apply -auto-approve) 2>&1 | tee -a $logfile
 234         (cd terraform/services && terraform apply -auto-approve) 2>&1 | grep -v letsencrypt_iam_secret_access_key | tee -a $logfile
 235         (cd terraform/services && echo -n 'letsencrypt_iam_secret_access_key = ' && terraform output letsencrypt_iam_secret_access_key) 2>&1 | tee -a $logfile
 236         ;;
 237
 238     generate-tokens)
 239         for i in BLOB_SIGNING_KEY MANAGEMENT_TOKEN SYSTEM_ROOT_TOKEN ANONYMOUS_USER_TOKEN WORKBENCH_SECRET_KEY DATABASE_PASSWORD; do
 240             echo ${i}=$(tr -dc A-Za-z0-9 </dev/urandom | head -c 32 ; echo '')
 241         done
 242         ;;
 243
 244     deploy)
 245         set +u
 246         NODE=$1
 247         set -u
 248
 249         checktools
 250
 251         loadconfig
 252
 253         if grep -rni 'fixme' ${CONFIG_FILE} ${CONFIG_DIR} ; then
 254             echo
 255             echo "Some parameters still need to be updated.  Please fix them and then re-run deploy."
 256             exit 1
 257         fi
 258
 259         BRANCH=$(git branch --show-current)
 260
 261         set -x
 262
 263         git add -A
 264         if ! git diff --cached --exit-code ; then
 265             git commit -m"prepare for deploy"
 266         fi
 267
 268         if [[ -z "$NODE" ]]; then
 269             for NODE in "${!NODES[@]}"
 270             do
 271                 # First, push the git repo to each node.  This also
 272                 # confirms that we have git and can log into each
 273                 # node.
 274                 sync $NODE $BRANCH
 275             done
 276
 277             for NODE in "${!NODES[@]}"
 278             do
 279                 # Do 'database' role first,
 280                 if [[ "${NODES[$NODE]}" =~ database ]] ; then
 281                     deploynode $NODE "${NODES[$NODE]}"
 282                     unset NODES[$NODE]
 283                 fi
 284             done
 285
 286             for NODE in "${!NODES[@]}"
 287             do
 288                 # then  'api' or 'controller' roles
 289                 if [[ "${NODES[$NODE]}" =~ (api|controller) ]] ; then
 290                     deploynode $NODE "${NODES[$NODE]}"
 291                     unset NODES[$NODE]
 292                 fi
 293             done
 294
 295             for NODE in "${!NODES[@]}"
 296             do
 297                 # Everything else (we removed the nodes that we
 298                 # already deployed from the list)
 299                 deploynode $NODE "${NODES[$NODE]}"
 300             done
 301         else
 302             # Just deploy the node that was supplied on the command line.
 303             sync $NODE $BRANCH
 304             deploynode $NODE "${NODES[$NODE]}"
 305         fi
 306
 307         set +x
 308         echo
 309         echo "Completed deploy, run 'installer.sh diagnostics' to verify the install"
 310
 311         ;;
 312
 313     diagnostics)
 314         loadconfig
 315
 316         set +u
 317         declare LOCATION=$1
 318         set -u
 319
 320         if ! which arvados-client ; then
 321             echo "arvados-client not found, install 'arvados-client' package with 'apt-get' or 'yum'"
 322             exit 1
 323         fi
 324
 325         if [[ -z "$LOCATION" ]] ; then
 326             echo "Need to provide '-internal-client' or '-external-client'"
 327             echo
 328             echo "-internal-client    You are running this on the same private network as the Arvados cluster (e.g. on one of the Arvados nodes)"
 329             echo "-external-client    You are running this outside the private network of the Arvados cluster (e.g. your workstation)"
 330             exit 1
 331         fi
 332
 333         export ARVADOS_API_HOST="${CLUSTER}.${DOMAIN}:${CONTROLLER_EXT_SSL_PORT}"
 334         export ARVADOS_API_TOKEN="$SYSTEM_ROOT_TOKEN"
 335
 336         arvados-client diagnostics $LOCATION
 337         ;;
 338
 339     *)
 340         echo "Arvados installer"
 341         echo ""
 342         echo "initialize        initialize the setup directory for configuration"
 343         echo "terraform         create cloud resources using terraform"
 344         echo "generate-tokens   generate random values for tokens"
 345         echo "deploy            deploy the configuration from the setup directory"
 346         echo "diagnostics       check your install using diagnostics"
 347         ;;
 348 esac