jenkins/run-deploy.sh

   1 #!/bin/bash
   2
   3 DEBUG=0
   4
   5 function usage {
   6     echo >&2
   7     echo >&2 "usage: $0 [options] <identifier>"
   8     echo >&2
   9     echo >&2 "   <identifier>                 Arvados cluster name"
  10     echo >&2
  11     echo >&2 "$0 options:"
  12     echo >&2 "  -d, --debug                   Enable debug output"
  13     echo >&2 "  -h, --help                    Display this help and exit"
  14     echo >&2
  15 }
  16
  17 # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
  18 TEMP=`getopt -o hd \
  19     --long help,debug \
  20     -n "$0" -- "$@"`
  21
  22 if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
  23 # Note the quotes around `$TEMP': they are essential!
  24 eval set -- "$TEMP"
  25
  26 while [ $# -ge 1 ]
  27 do
  28     case $1 in
  29         -d | --debug)
  30             DEBUG=1
  31             shift
  32             ;;
  33         --)
  34             shift
  35             break
  36             ;;
  37         *)
  38             usage
  39             exit 1
  40             ;;
  41     esac
  42 done
  43
  44 IDENTIFIER=$1
  45
  46 if [[ "$IDENTIFIER" == '' ]]; then
  47   usage
  48   exit 1
  49 fi
  50
  51 EXITCODE=0
  52
  53 COLUMNS=80
  54
  55 title () {
  56   date=`date +'%Y-%m-%d %H:%M:%S'`
  57   printf "$date $1\n"
  58 }
  59
  60 function run_puppet() {
  61   node=$1
  62   return_var=$2
  63
  64   title "Running puppet on $node"
  65   TMP_FILE=`mktemp`
  66   if [[ "$DEBUG" != "0" ]]; then
  67     ssh -t -p2222 -o "StrictHostKeyChecking no" -o "ConnectTimeout 5" root@$node -C "/usr/bin/puppet agent -t" | tee $TMP_FILE
  68   else
  69     ssh -t -p2222 -o "StrictHostKeyChecking no" -o "ConnectTimeout 5" root@$node -C "/usr/bin/puppet agent -t" > $TMP_FILE 2>&1
  70   fi
  71
  72   ECODE=$?
  73   RESULT=$(cat $TMP_FILE)
  74
  75   if [[ "$ECODE" != "255" && ! ("$RESULT" =~ 'already in progress') && "$ECODE" != "2" && "$ECODE" != "0"  ]]; then
  76     # Ssh exits 255 if the connection timed out. Just ignore that.
  77     # Puppet exits 2 if there are changes. For real!
  78     # Puppet prints 'Notice: Run of Puppet configuration client already in progress' if another puppet process
  79     #   was already running
  80     echo "ERROR running puppet on $node: exit code $ECODE"
  81     if [[ "$DEBUG" == "0" ]]; then
  82       title "Command output follows:"
  83       echo $RESULT
  84     fi
  85   fi
  86   if [[ "$ECODE" == "255" ]]; then
  87     title "Connection timed out"
  88     ECODE=0
  89   fi
  90   if [[ "$ECODE" == "2" ]]; then
  91     ECODE=0
  92   fi
  93   rm -f $TMP_FILE
  94   eval "$return_var=$ECODE"
  95 }
  96
  97 function run_command() {
  98   node=$1
  99   return_var=$2
 100   command=$3
 101
 102   title "Running '$command' on $node"
 103   TMP_FILE=`mktemp`
 104   if [[ "$DEBUG" != "0" ]]; then
 105     ssh -t -p2222 -o "StrictHostKeyChecking no" -o "ConnectTimeout 5" root@$node -C "$command" | tee $TMP_FILE
 106   else
 107     ssh -t -p2222 -o "StrictHostKeyChecking no" -o "ConnectTimeout 5" root@$node -C "$command" > $TMP_FILE 2>&1
 108   fi
 109
 110   ECODE=$?
 111   RESULT=$(cat $TMP_FILE)
 112
 113   if [[ "$ECODE" != "255" && "$ECODE" != "0"  ]]; then
 114     # Ssh exists 255 if the connection timed out. Just ignore that, it's possible that this node is
 115     #   a shell node that is down.
 116     title "ERROR running command on $node: exit code $ECODE"
 117     if [[ "$DEBUG" == "0" ]]; then
 118       title "Command output follows:"
 119       echo $RESULT
 120     fi
 121   fi
 122   if [[ "$ECODE" == "255" ]]; then
 123     title "Connection timed out"
 124     ECODE=0
 125   fi
 126   rm -f $TMP_FILE
 127   eval "$return_var=$ECODE"
 128 }
 129
 130 title "Loading ARVADOS_API_HOST and ARVADOS_API_TOKEN"
 131 if [[ -f "$HOME/.config/arvados/$IDENTIFIER.arvadosapi.com.conf" ]]; then
 132   . $HOME/.config/arvados/$IDENTIFIER.arvadosapi.com.conf
 133 else
 134   title "WARNING: $HOME/.config/arvados/$IDENTIFIER.arvadosapi.com.conf not found."
 135 fi
 136 if [[ "$ARVADOS_API_HOST" == "" ]] || [[ "$ARVADOS_API_TOKEN" == "" ]]; then
 137   title "ERROR: ARVADOS_API_HOST and/or ARVADOS_API_TOKEN environment variables are not set."
 138   exit 1
 139 fi
 140
 141 title "Locating Arvados Standard Docker images project"
 142
 143 JSON_FILTER="[[\"name\", \"=\", \"Arvados Standard Docker Images\"], [\"owner_uuid\", \"=\", \"$IDENTIFIER-tpzed-000000000000000\"]]"
 144 DOCKER_IMAGES_PROJECT=`ARVADOS_API_HOST=$ARVADOS_API_HOST ARVADOS_API_TOKEN=$ARVADOS_API_TOKEN arv --format=uuid group list --filters="$JSON_FILTER"`
 145
 146 if [[ "$DOCKER_IMAGES_PROJECT" == "" ]]; then
 147   title "Warning: Arvados Standard Docker Images project not found. Creating it."
 148
 149   DOCKER_IMAGES_PROJECT=`ARVADOS_API_HOST=$ARVADOS_API_HOST ARVADOS_API_TOKEN=$ARVADOS_API_TOKEN arv --format=uuid group create --group "{\"owner_uuid\":\"$IDENTIFIER-tpzed-000000000000000\", \"name\":\"Arvados Standard Docker Images\"}"`
 150   ARVADOS_API_HOST=$ARVADOS_API_HOST ARVADOS_API_TOKEN=$ARVADOS_API_TOKEN arv link create --link "{\"tail_uuid\":\"$IDENTIFIER-j7d0g-fffffffffffffff\", \"head_uuid\":\"$DOCKER_IMAGES_PROJECT\", \"link_class\":\"permission\", \"name\":\"can_read\" }"
 151   if [[ "$?" != "0" ]]; then
 152     title "ERROR: could not create standard Docker images project Please create it, cf. http://doc.arvados.org/install/create-standard-objects.html"
 153     exit 1
 154   fi
 155 fi
 156
 157 title "Found Arvados Standard Docker Images project with uuid $DOCKER_IMAGES_PROJECT"
 158 GIT_COMMIT=`ssh -o "StrictHostKeyChecking no" $IDENTIFIER cat /usr/local/arvados/src/git-commit.version`
 159
 160 if [[ "$?" != "0" ]] || [[ "$GIT_COMMIT" == "" ]]; then
 161   title "ERROR: unable to get arvados/jobs Docker image git revision"
 162   exit 1
 163 else
 164   title "Found git commit for arvados/jobs Docker image: $GIT_COMMIT"
 165 fi
 166
 167 run_command shell.$IDENTIFIER ECODE "ARVADOS_API_HOST=$ARVADOS_API_HOST ARVADOS_API_TOKEN=$ARVADOS_API_TOKEN /usr/local/rvm/bin/rvm-exec default arv keep docker" |grep -q $GIT_COMMIT
 168
 169 if [[ "$?" == "0" ]]; then
 170   title "Found latest arvados/jobs Docker image, nothing to upload"
 171 else
 172   title "Installing latest arvados/jobs Docker image"
 173   ssh -o "StrictHostKeyChecking no" shell.$IDENTIFIER "ARVADOS_API_HOST=$ARVADOS_API_HOST ARVADOS_API_TOKEN=$ARVADOS_API_TOKEN /usr/local/rvm/bin/rvm-exec default arv keep docker --pull --project-uuid=$DOCKER_IMAGES_PROJECT arvados/jobs $GIT_COMMIT"
 174 fi
 175
 176 title "Gathering list of shell and Keep nodes"
 177 SHELL_NODES=`ARVADOS_API_HOST=$ARVADOS_API_HOST ARVADOS_API_TOKEN=$ARVADOS_API_TOKEN arv virtual_machine list |jq .items[].hostname -r`
 178 KEEP_NODES=`ARVADOS_API_HOST=$ARVADOS_API_HOST ARVADOS_API_TOKEN=$ARVADOS_API_TOKEN arv keep_service list |jq .items[].service_host -r`
 179
 180 title "Updating API server"
 181 SUM_ECODE=0
 182 run_puppet $IDENTIFIER ECODE
 183 SUM_ECODE=$(($SUM_ECODE + $ECODE))
 184 run_command $IDENTIFIER ECODE "/usr/local/bin/arvados-api-server-upgrade.sh"
 185 SUM_ECODE=$(($SUM_ECODE + $ECODE))
 186 run_command $IDENTIFIER ECODE "dpkg -L arvados-mailchimp-plugin 2>/dev/null && apt-get install arvados-mailchimp-plugin --reinstall || echo"
 187 SUM_ECODE=$(($SUM_ECODE + $ECODE))
 188
 189 if [[ "$SUM_ECODE" != "0" ]]; then
 190   title "ERROR: Updating API server FAILED"
 191   EXITCODE=$(($EXITCODE + $SUM_ECODE))
 192   exit $EXITCODE
 193 fi
 194
 195 title "Updating workbench"
 196 SUM_ECODE=0
 197 if [[ `host workbench.$ARVADOS_API_HOST` != `host $ARVADOS_API_HOST` ]]; then
 198   # Workbench runs on a separate host. We need to run puppet there too.
 199   run_puppet workbench.$IDENTIFIER ECODE
 200   SUM_ECODE=$(($SUM_ECODE + $ECODE))
 201 fi
 202
 203 run_command workbench.$IDENTIFIER ECODE "/usr/local/bin/arvados-workbench-upgrade.sh"
 204 SUM_ECODE=$(($SUM_ECODE + $ECODE))
 205
 206 if [[ "$SUM_ECODE" != "0" ]]; then
 207   title "ERROR: Updating workbench FAILED"
 208   EXITCODE=$(($EXITCODE + $SUM_ECODE))
 209   exit $EXITCODE
 210 fi
 211
 212 for n in manage $SHELL_NODES $KEEP_NODES; do
 213   ECODE=0
 214   if [[ $n =~ $ARVADOS_API_HOST$ ]]; then
 215     # e.g. keep.qr1hi.arvadosapi.com
 216     node=$n
 217   else
 218     # e.g. shell
 219     node=$n.$ARVADOS_API_HOST
 220   fi
 221
 222   # e.g. keep.qr1hi
 223   node=${node%.arvadosapi.com}
 224
 225   title "Updating $node"
 226   run_puppet $node ECODE
 227   if [[ "$ECODE" != "0" ]]; then
 228     title "ERROR: Updating $node node FAILED: exit code $ECODE"
 229     EXITCODE=$(($EXITCODE + $ECODE))
 230     exit $EXITCODE
 231   fi
 232 done