jenkins/run-deploy.sh

   1 #!/bin/bash
   2
   3 DEBUG=0
   4
   5 function usage {
   6     echo >&2
   7     echo >&2 "usage: $0 [options] <identifier>"
   8     echo >&2
   9     echo >&2 "   <identifier>                 Arvados cluster name"
  10     echo >&2
  11     echo >&2 "$0 options:"
  12     echo >&2 "  -d, --debug                   Enable debug output"
  13     echo >&2 "  -h, --help                    Display this help and exit"
  14     echo >&2
  15 }
  16
  17 # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
  18 TEMP=`getopt -o hd \
  19     --long help,debug \
  20     -n "$0" -- "$@"`
  21
  22 if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
  23 # Note the quotes around `$TEMP': they are essential!
  24 eval set -- "$TEMP"
  25
  26 while [ $# -ge 1 ]
  27 do
  28     case $1 in
  29         -d | --debug)
  30             DEBUG=1
  31             shift
  32             ;;
  33         --)
  34             shift
  35             break
  36             ;;
  37         *)
  38             usage
  39             exit 1
  40             ;;
  41     esac
  42 done
  43
  44 IDENTIFIER=$1
  45
  46 if [[ "$IDENTIFIER" == '' ]]; then
  47   usage
  48   exit 1
  49 fi
  50
  51 EXITCODE=0
  52
  53 COLUMNS=80
  54
  55 title () {
  56   date=`date +'%Y-%m-%d %H:%M:%S'`
  57   printf "$date $1\n"
  58 }
  59
  60 function run_puppet() {
  61   node=$1
  62   return_var=$2
  63
  64   title "Running puppet on $node"
  65   TMP_FILE=`mktemp`
  66   if [[ "$DEBUG" != "0" ]]; then
  67     ssh -t -p2222 -o "StrictHostKeyChecking no" -o "ConnectTimeout 5" root@$node -C "/usr/bin/puppet agent -t" | tee $TMP_FILE
  68   else
  69     ssh -t -p2222 -o "StrictHostKeyChecking no" -o "ConnectTimeout 5" root@$node -C "/usr/bin/puppet agent -t" > $TMP_FILE 2>&1
  70   fi
  71
  72   ECODE=$?
  73   RESULT=$(cat $TMP_FILE)
  74
  75   if [[ "$ECODE" != "255" && ! ("$RESULT" =~ 'already in progress') && "$ECODE" != "2" && "$ECODE" != "0"  ]]; then
  76     # Ssh exits 255 if the connection timed out. Just ignore that.
  77     # Puppet exits 2 if there are changes. For real!
  78     # Puppet prints 'Notice: Run of Puppet configuration client already in progress' if another puppet process
  79     #   was already running
  80     echo "ERROR running puppet on $node: exit code $ECODE"
  81     if [[ "$DEBUG" == "0" ]]; then
  82       title "Command output follows:"
  83       echo $RESULT
  84     fi
  85   fi
  86   if [[ "$ECODE" == "255" ]]; then
  87     title "Connection timed out"
  88     ECODE=0
  89   fi
  90   if [[ "$ECODE" == "2" ]]; then
  91     ECODE=0
  92   fi
  93   rm -f $TMP_FILE
  94   eval "$return_var=$ECODE"
  95 }
  96
  97 function run_command() {
  98   node=$1
  99   return_var=$2
 100   command=$3
 101
 102   title "Running '$command' on $node"
 103   TMP_FILE=`mktemp`
 104   if [[ "$DEBUG" != "0" ]]; then
 105     ssh -t -p2222 -o "StrictHostKeyChecking no" -o "ConnectTimeout 5" root@$node -C "$command" | tee $TMP_FILE
 106   else
 107     ssh -t -p2222 -o "StrictHostKeyChecking no" -o "ConnectTimeout 5" root@$node -C "$command" > $TMP_FILE 2>&1
 108   fi
 109
 110   ECODE=$?
 111   RESULT=$(cat $TMP_FILE)
 112
 113   if [[ "$ECODE" != "255" && "$ECODE" != "0"  ]]; then
 114     # Ssh exists 255 if the connection timed out. Just ignore that, it's possible that this node is
 115     #   a shell node that is down.
 116     title "ERROR running command on $node: exit code $ECODE"
 117     if [[ "$DEBUG" == "0" ]]; then
 118       title "Command output follows:"
 119       echo $RESULT
 120     fi
 121   fi
 122   if [[ "$ECODE" == "255" ]]; then
 123     title "Connection timed out"
 124     ECODE=0
 125   fi
 126   rm -f $TMP_FILE
 127   eval "$return_var=$ECODE"
 128 }
 129
 130 title "Loading ARVADOS_API_HOST and ARVADOS_API_TOKEN"
 131 if [[ -f "$HOME/.config/arvados/$IDENTIFIER.arvadosapi.com.conf" ]]; then
 132   . $HOME/.config/arvados/$IDENTIFIER.arvadosapi.com.conf
 133 else
 134   title "WARNING: $HOME/.config/arvados/$IDENTIFIER.arvadosapi.com.conf not found."
 135 fi
 136 if [[ "$ARVADOS_API_HOST" == "" ]] || [[ "$ARVADOS_API_TOKEN" == "" ]]; then
 137   title "ERROR: ARVADOS_API_HOST and/or ARVADOS_API_TOKEN environment variables are not set."
 138   exit 1
 139 fi
 140
 141 title "Gathering list of shell and Keep nodes"
 142 SHELL_NODES=`ARVADOS_API_HOST=$ARVADOS_API_HOST ARVADOS_API_TOKEN=$ARVADOS_API_TOKEN arv virtual_machine list |jq .items[].hostname -r`
 143 KEEP_NODES=`ARVADOS_API_HOST=$ARVADOS_API_HOST ARVADOS_API_TOKEN=$ARVADOS_API_TOKEN arv keep_service list |jq .items[].service_host -r`
 144
 145 title "Updating API server"
 146 SUM_ECODE=0
 147 run_puppet $IDENTIFIER ECODE
 148 SUM_ECODE=$(($SUM_ECODE + $ECODE))
 149 run_command $IDENTIFIER ECODE "/usr/local/bin/arvados-api-server-upgrade.sh"
 150 SUM_ECODE=$(($SUM_ECODE + $ECODE))
 151 run_command $IDENTIFIER ECODE "dpkg -L arvados-mailchimp-plugin 2>/dev/null && apt-get install arvados-mailchimp-plugin --reinstall || echo"
 152 SUM_ECODE=$(($SUM_ECODE + $ECODE))
 153
 154 if [[ "$SUM_ECODE" != "0" ]]; then
 155   title "ERROR: Updating API server FAILED"
 156   EXITCODE=$(($EXITCODE + $SUM_ECODE))
 157   exit $EXITCODE
 158 fi
 159
 160 title "Updating workbench"
 161 SUM_ECODE=0
 162 if [[ `host workbench.$ARVADOS_API_HOST` != `host $ARVADOS_API_HOST` ]]; then
 163   # Workbench runs on a separate host. We need to run puppet there too.
 164   run_puppet workbench.$IDENTIFIER ECODE
 165   SUM_ECODE=$(($SUM_ECODE + $ECODE))
 166 fi
 167
 168 run_command workbench.$IDENTIFIER ECODE "/usr/local/bin/arvados-workbench-upgrade.sh"
 169 SUM_ECODE=$(($SUM_ECODE + $ECODE))
 170
 171 if [[ "$SUM_ECODE" != "0" ]]; then
 172   title "ERROR: Updating workbench FAILED"
 173   EXITCODE=$(($EXITCODE + $SUM_ECODE))
 174   exit $EXITCODE
 175 fi
 176
 177 for n in manage $SHELL_NODES $KEEP_NODES; do
 178   ECODE=0
 179   if [[ $n =~ $ARVADOS_API_HOST$ ]]; then
 180     # e.g. keep.qr1hi.arvadosapi.com
 181     node=$n
 182   else
 183     # e.g. shell
 184     node=$n.$ARVADOS_API_HOST
 185   fi
 186
 187   # e.g. keep.qr1hi
 188   node=${node%.arvadosapi.com}
 189
 190   title "Updating $node"
 191   run_puppet $node ECODE
 192   if [[ "$ECODE" != "0" ]]; then
 193     title "ERROR: Updating $node node FAILED: exit code $ECODE"
 194     EXITCODE=$(($EXITCODE + $ECODE))
 195     exit $EXITCODE
 196   fi
 197 done