docker/arvdock

   1 #!/bin/bash
   2
   3 ENABLE_SSH=false
   4
   5 function usage {
   6     echo >&2
   7     echo >&2 "usage: $0 (start|stop|restart|test) [options]"
   8     echo >&2
   9     echo >&2 "$0 start/stop/restart options:"
  10     echo >&2 "  -d [port], --doc[=port]        Documentation server (default port 9898)"
  11     echo >&2 "  -w [port], --workbench[=port]  Workbench server (default port 9899)"
  12     echo >&2 "  -s [port], --sso[=port]        SSO server (default port 9901)"
  13     echo >&2 "  -a [port], --api[=port]        API server (default port 9900)"
  14     echo >&2 "  -k, --keep                     Keep servers"
  15     echo >&2 "  --ssh                          Enable SSH access to server containers"
  16     echo >&2 "  -h, --help                     Display this help and exit"
  17     echo >&2
  18     echo >&2 "  If no options are given, the action is applied to all servers."
  19     echo >&2
  20     echo >&2 "$0 test [testname] [testname] ..."
  21     echo >&2 "  By default, all tests are run."
  22 }
  23
  24 function ip_address {
  25     local container=$1
  26     echo `docker inspect $container  |grep IPAddress |cut -f4 -d\"`
  27 }
  28
  29 function start_container {
  30     local args="-d -i -t"
  31     if [[ "$1" != '' ]]; then
  32       local port="$1"
  33       args="$args -p $port"
  34     fi
  35     if [[ "$2" != '' ]]; then
  36       local name="$2"
  37       args="$args -name $name"
  38     fi
  39     if [[ "$3" != '' ]]; then
  40       local volume="$3"
  41       args="$args -v $volume"
  42     fi
  43     if [[ "$4" != '' ]]; then
  44       local link="$4"
  45       args="$args -link $link"
  46     fi
  47     local image=$5
  48
  49     if $ENABLE_SSH
  50     then
  51       args="$args -e ENABLE_SSH=$ENABLE_SSH"
  52     fi
  53
  54     `docker ps |grep -P "$name[^/]" -q`
  55     if [[ "$?" == "0" ]]; then
  56       echo "You have a running container with name $name -- skipping."
  57       return
  58     fi
  59
  60     # Remove any existing container by this name.
  61     docker rm "$name" 2>/dev/null
  62
  63     echo "Starting container:"
  64     echo "  docker run $args $image"
  65     container=`docker run $args $image`
  66     if [[ "$?" != "0" ]]; then
  67       echo "Unable to start container"
  68       exit 1
  69     fi
  70     if $ENABLE_SSH
  71     then
  72       ip=$(ip_address $container )
  73       echo
  74       echo "You can ssh into the container with:"
  75       echo
  76       echo "    ssh root@$ip"
  77       echo
  78     fi
  79 }
  80
  81 declare -a keep_volumes
  82
  83 # Initialize the global `keep_volumes' array. If any keep volumes
  84 # already appear to exist (mounted volumes with a top-level "keep"
  85 # directory), use them; create temporary volumes if necessary.
  86 #
  87 function make_keep_volumes () {
  88     # Mount a keep volume if we don't already have one
  89     for mountpoint in $(cut -d ' ' -f 2 /proc/mounts); do
  90       if [[ -d "$mountpoint/keep" && "$mountpoint" != "/" ]]; then
  91         keep_volumes+=($mountpoint)
  92       fi
  93     done
  94
  95     # Create any keep volumes that do not yet exist.
  96     while [ ${#keep_volumes[*]} -lt 2 ]
  97     do
  98         new_keep=$(mktemp -d)
  99         echo >&2 "mounting 512M tmpfs keep volume in $new_keep"
 100         sudo mount -t tmpfs -o size=512M tmpfs $new_keep
 101         mkdir $new_keep/keep
 102         keep_volumes+=($new_keep)
 103     done
 104 }
 105
 106 function do_start {
 107     local start_doc=false
 108     local start_sso=false
 109     local start_api=false
 110     local start_workbench=false
 111     local start_keep=false
 112
 113     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 114     local TEMP=`getopt -o d::s::a::w::kh \
 115                   --long doc::,sso::,api::,workbench::,keep,help,ssh \
 116                   -n "$0" -- "$@"`
 117
 118     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 119
 120     # Note the quotes around `$TEMP': they are essential!
 121     eval set -- "$TEMP"
 122
 123     while [ $# -ge 1 ]
 124     do
 125         case $1 in
 126             -d | --doc)
 127                 case "$2" in
 128                     "") start_doc=9898; shift 2 ;;
 129                     *)  start_doc=$2; shift 2 ;;
 130                 esac
 131                 ;;
 132             -s | --sso)
 133                 case "$2" in
 134                     "") start_sso=9901; shift 2 ;;
 135                     *)  start_sso=$2; shift 2 ;;
 136                 esac
 137                 ;;
 138             -a | --api)
 139                 case "$2" in
 140                     "") start_api=9900; shift 2 ;;
 141                     *)  start_api=$2; shift 2 ;;
 142                 esac
 143                 ;;
 144             -w | --workbench)
 145                 case "$2" in
 146                     "") start_workbench=9899; shift 2 ;;
 147                     *)  start_workbench=$2; shift 2 ;;
 148                 esac
 149                 ;;
 150             -k | --keep )
 151                 start_keep=true
 152                 shift
 153                 ;;
 154             --ssh)
 155                 # ENABLE_SSH is a global variable
 156                 ENABLE_SSH=true
 157                 shift
 158                 ;;
 159             --)
 160                 shift
 161                 break
 162                 ;;
 163             *)
 164                 usage
 165                 exit 1
 166                 ;;
 167         esac
 168     done
 169
 170     # If no options were selected, then start all servers.
 171     if [[ $start_doc == false &&
 172           $start_sso == false &&
 173           $start_api == false &&
 174           $start_workbench == false &&
 175           $start_keep == false ]]
 176     then
 177         start_doc=9898
 178         start_sso=9901
 179         start_api=9900
 180         start_workbench=9899
 181         start_keep=true
 182     fi
 183
 184     if [[ $start_doc != false ]]
 185     then
 186         start_container "9898:80" "doc_server" '' '' "arvados/doc"
 187     fi
 188
 189     if [[ $start_sso != false ]]
 190     then
 191         start_container "9901:443" "sso_server" '' '' "arvados/sso"
 192     fi
 193
 194     if [[ $start_api != false ]]
 195     then
 196         start_container "9900:443" "api_server" '' "sso_server:sso" "arvados/api"
 197     fi
 198
 199     if [[ $start_workbench != false ]]
 200     then
 201         start_container "9899:80" "workbench_server" '' "api_server:api" "arvados/workbench"
 202     fi
 203
 204     if [[ $start_keep != false ]]
 205     then
 206         # create `keep_volumes' array with a list of keep mount points
 207         # remove any stale metadata from those volumes before starting them
 208         make_keep_volumes
 209         for v in ${keep_volumes[*]}
 210         do
 211             [ -f $v/keep/.metadata.yml ] && sudo rm $v/keep/.metadata.yml
 212         done
 213         start_container "25107:25107" "keep_server_0" \
 214             "${keep_volumes[0]}:/dev/keep-0" \
 215             "api_server:api" \
 216             "arvados/warehouse"
 217         start_container "25108:25107" "keep_server_1" \
 218             "${keep_volumes[1]}:/dev/keep-0" \
 219             "api_server:api" \
 220             "arvados/warehouse"
 221     fi
 222
 223     if [ -d $HOME/.config/arvados ] || mkdir -p $HOME/.config/arvados
 224     then
 225         cat >$HOME/.config/arvados/settings.conf <<EOF
 226 ARVADOS_API_HOST=$(ip_address "api_server")
 227 ARVADOS_API_HOST_INSECURE=yes
 228 ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 229 EOF
 230     fi
 231 }
 232
 233 function do_stop {
 234     local stop_doc=""
 235     local stop_sso=""
 236     local stop_api=""
 237     local stop_workbench=""
 238     local stop_keep=""
 239
 240     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 241     local TEMP=`getopt -o d::s::a::w::kh \
 242                   --long doc::,sso::,api::,workbench::,keep,help,ssh \
 243                   -n "$0" -- "$@"`
 244
 245     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 246
 247     # Note the quotes around `$TEMP': they are essential!
 248     eval set -- "$TEMP"
 249
 250     while [ $# -ge 1 ]
 251     do
 252         case $1 in
 253             -d | --doc)
 254                 stop_doc=doc_server ; shift 2 ;;
 255             -s | --sso)
 256                 stop_sso=sso_server ; shift 2 ;;
 257             -a | --api)
 258                 stop_api=api_server ; shift 2 ;;
 259             -w | --workbench)
 260                 stop_workbench=workbench_server ; shift 2 ;;
 261             -k | --keep )
 262                 stop_keep="keep_server_0 keep_server_1" ; shift ;;
 263             --ssh)
 264                 shift
 265                 ;;
 266             --)
 267                 shift
 268                 break
 269                 ;;
 270             *)
 271                 usage
 272                 exit 1
 273                 ;;
 274         esac
 275     done
 276
 277     # If no options were selected, then start all servers.
 278     if [[ $stop_doc == "" &&
 279           $stop_sso == "" &&
 280           $stop_api == "" &&
 281           $stop_workbench == "" &&
 282           $stop_keep == "" ]]
 283     then
 284         stop_doc=doc_server
 285         stop_sso=sso_server
 286         stop_api=api_server
 287         stop_workbench=workbench_server
 288         stop_keep="keep_server_0 keep_server_1"
 289     fi
 290
 291     docker stop $stop_doc $stop_sso $stop_api $stop_workbench $stop_keep \
 292         2>/dev/null
 293 }
 294
 295 function do_test {
 296     local alltests
 297     if [ $# -lt 1 ]
 298     then
 299         alltests="python-sdk api"
 300     else
 301         alltests="$@"
 302     fi
 303
 304     for testname in $alltests
 305     do
 306         echo "testing $testname..."
 307         case $testname in
 308             python-sdk)
 309                 do_start --api --keep --sso
 310                 export ARVADOS_API_HOST=$(ip_address "api_server")
 311                 export ARVADOS_API_HOST_INSECURE=yes
 312                 export ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 313                 python -m unittest discover ../sdk/python
 314                 ;;
 315             api)
 316                 docker run -t -i arvados/api \
 317                     /usr/src/arvados/services/api/script/rake_test.sh
 318                 ;;
 319             *)
 320                 echo >&2 "unknown test $testname"
 321                 ;;
 322         esac
 323     done
 324 }
 325
 326 if [ $# -lt 1 ]
 327 then
 328   usage
 329   exit 1
 330 fi
 331
 332 case $1 in
 333     start)
 334         shift
 335         do_start $@
 336         ;;
 337     stop)
 338         shift
 339         do_stop $@
 340         ;;
 341     restart)
 342         shift
 343         do_stop $@
 344         do_start $@
 345         ;;
 346     test)
 347         shift
 348         do_test $@
 349         ;;
 350     *)
 351         usage
 352         exit 1
 353         ;;
 354 esac