jenkins/run-deploy-salt.sh

   1 #!/bin/bash
   2
   3 # Copyright (C) The Arvados Authors. All rights reserved.
   4 #
   5 # SPDX-License-Identifier: AGPL-3.0
   6
   7 set -e
   8
   9 DEBUG=0
  10
  11 read -d] -r SCOPES <<EOF
  12 --scopes
  13 '["GET /arvados/v1/virtual_machines",\n
  14 "GET /arvados/v1/keep_services",\n
  15 "GET /arvados/v1/keep_services/",\n
  16 "GET /arvados/v1/groups",\n
  17 "GET /arvados/v1/groups/",\n
  18 "GET /arvados/v1/links",\n
  19 "GET /arvados/v1/collections",\n
  20 "POST /arvados/v1/collections",\n
  21 "POST /arvados/v1/links",\n
  22 "GET /arvados/v1/users/current",\n
  23 "POST /arvados/v1/users/current",\n
  24 "GET /arvados/v1/jobs",\n
  25 "POST /arvados/v1/jobs",\n
  26 "GET /arvados/v1/pipeline_instances",\n
  27 "POST /arvados/v1/pipeline_instances",\n
  28 "PUT /arvados/v1/pipeline_instances/",\n
  29 "GET /arvados/v1/collections/",\n
  30 "POST /arvados/v1/collections/",\n
  31 "GET /arvados/v1/logs"]'
  32 EOF
  33
  34 function usage {
  35     echo >&2
  36     echo >&2 "usage: $0 [options] <identifier>"
  37     echo >&2
  38     echo >&2 "   <identifier>                 Arvados cluster name or single node salt identifier"
  39     echo >&2
  40     echo >&2 "$0 options:"
  41     echo >&2 "  -d, --debug                   Enable debug output"
  42     echo >&2 "  -h, --help                    Display this help and exit"
  43     echo >&2
  44     echo >&2 "Note: the SALT_MASTER environment variable needs to be set to the ssh host"
  45     echo >&2 "      of your salt master."
  46     echo >&2
  47     echo >&2 "Note: this script requires an arvados token created with these permissions:"
  48     echo >&2 '  arv api_client_authorization create_system_auth \'
  49     echo -e $SCOPES"]'" >&2
  50     echo >&2
  51 }
  52
  53
  54 # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
  55 TEMP=`getopt -o hd \
  56     --long help,debug \
  57     -n "$0" -- "$@"`
  58
  59 if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
  60 # Note the quotes around `$TEMP': they are essential!
  61 eval set -- "$TEMP"
  62
  63 while [ $# -ge 1 ]
  64 do
  65     case $1 in
  66         -d | --debug)
  67             DEBUG=1
  68             set -x
  69             shift
  70             ;;
  71         --)
  72             shift
  73             break
  74             ;;
  75         *)
  76             usage
  77             exit 1
  78             ;;
  79     esac
  80 done
  81
  82 IDENTIFIER=$1
  83
  84 if [[ "$IDENTIFIER" == '' ]]; then
  85   usage
  86   exit 1
  87 fi
  88
  89 title () {
  90   date=`date +'%Y-%m-%d %H:%M:%S'`
  91   printf "$date $1\n"
  92 }
  93
  94 function run_salt() {
  95   cluster=$1
  96   if [[ ! -z "$2" ]]; then
  97     E="env=$2"
  98   else
  99     E=""
 100   fi
 101   shift
 102   shift
 103   ssh -o "ConnectTimeout 5" -o "LogLevel QUIET" $SALT_MASTER salt --out=txt \'$cluster*\' cmd.run \'$(IFS=\0;echo "$@")\' $E
 104 }
 105
 106 if [[ -z "$SALT_MASTER" ]]; then
 107   title "ERROR: SALT_MASTER environment variable is not set."
 108   exit 1
 109 fi
 110
 111 run_salt "*$IDENTIFIER" '' 'apt update && DEBIAN_FRONTEND=noninteractive apt -y upgrade'
 112
 113 if [[ "$IDENTIFIER" =~ \. ]]; then
 114   title "Single node deploy requested, done"
 115   exit 0
 116 fi
 117
 118 title "Loading ARVADOS_API_HOST and ARVADOS_API_TOKEN"
 119 if [[ -f "$HOME/.config/arvados/$IDENTIFIER.arvadosapi.com.conf" ]]; then
 120   . $HOME/.config/arvados/$IDENTIFIER.arvadosapi.com.conf
 121 else
 122   title "WARNING: $HOME/.config/arvados/$IDENTIFIER.arvadosapi.com.conf not found."
 123 fi
 124 if [[ "$ARVADOS_API_HOST" == "" ]] || [[ "$ARVADOS_API_TOKEN" == "" ]]; then
 125   title "ERROR: ARVADOS_API_HOST and/or ARVADOS_API_TOKEN environment variables are not set."
 126   exit 1
 127 fi
 128
 129 title "Locating Arvados Standard Docker images project"
 130
 131 JSON_FILTER="[[\"name\", \"=\", \"Arvados Standard Docker Images\"], [\"owner_uuid\", \"=\", \"$IDENTIFIER-tpzed-000000000000000\"]]"
 132 DOCKER_IMAGES_PROJECT=`ARVADOS_API_HOST=$ARVADOS_API_HOST ARVADOS_API_TOKEN=$ARVADOS_API_TOKEN arv --format=uuid group list --filters="$JSON_FILTER"`
 133
 134 if [[ "$DOCKER_IMAGES_PROJECT" == "" ]]; then
 135   title "Warning: Arvados Standard Docker Images project not found. Creating it."
 136
 137   DOCKER_IMAGES_PROJECT=`ARVADOS_API_HOST=$ARVADOS_API_HOST ARVADOS_API_TOKEN=$ARVADOS_API_TOKEN arv --format=uuid group create --group "{\"owner_uuid\":\"$IDENTIFIER-tpzed-000000000000000\", \"name\":\"Arvados Standard Docker Images\", \"group_class\":\"project\"}"`
 138   ARVADOS_API_HOST=$ARVADOS_API_HOST ARVADOS_API_TOKEN=$ARVADOS_API_TOKEN arv link create --link "{\"tail_uuid\":\"$IDENTIFIER-j7d0g-fffffffffffffff\", \"head_uuid\":\"$DOCKER_IMAGES_PROJECT\", \"link_class\":\"permission\", \"name\":\"can_read\" }"
 139   if [[ "$?" != "0" ]]; then
 140     title "ERROR: could not create standard Docker images project Please create it, cf. http://doc.arvados.org/install/create-standard-objects.html"
 141     exit 1
 142   fi
 143 fi
 144
 145 title "Found Arvados Standard Docker Images project with uuid $DOCKER_IMAGES_PROJECT"
 146 VERSION=$(run_salt "shell.$IDENTIFIER" '' 'apt-cache policy python3-arvados-cwl-runner' | grep Candidate |awk '{print $3}' |cut -f1 -d-)
 147
 148 if [[ "$?" != "0" ]] || [[ "$VERSION" == "" ]]; then
 149   title "ERROR: unable to get python3-arvados-cwl-runner version"
 150   exit 1
 151 else
 152   title "Found version for python3-arvados-cwl-runner: $VERSION"
 153 fi
 154
 155 set +e
 156 CLEAN_VERSION=`echo $VERSION | sed s/~dev/.dev/g | sed s/~rc/rc/g`
 157 run_salt "shell.$IDENTIFIER" "'{\"ARVADOS_API_HOST\": \"$ARVADOS_API_HOST\", \"ARVADOS_API_TOKEN\": \"$ARVADOS_API_TOKEN\"}'" "arv-keepdocker" |grep -qP "arvados/jobs +$CLEAN_VERSION "
 158 if [[ $? -eq 0 ]]; then
 159   set -e
 160   title "Found arvados/jobs Docker image version $CLEAN_VERSION, nothing to upload"
 161 else
 162   set -e
 163   title "Installing arvados/jobs Docker image version $CLEAN_VERSION"
 164   run_salt "shell.$IDENTIFIER" "'{\"ARVADOS_API_HOST\": \"$ARVADOS_API_HOST\", \"ARVADOS_API_TOKEN\": \"$ARVADOS_API_TOKEN\"}'" "arv-keepdocker --pull --project-uuid=$DOCKER_IMAGES_PROJECT arvados/jobs $CLEAN_VERSION"
 165   if [[ $? -ne 0 ]]; then
 166     title "'arv-keepdocker' failed..."
 167     exit 1
 168   fi
 169 fi