docker/arvdock

   1 #!/bin/bash
   2
   3 DOCKER=`which docker.io`
   4
   5 if [[ "$DOCKER" == "" ]]; then
   6     DOCKER=`which docker`
   7 fi
   8
   9 COMPUTE_COUNTER=0
  10
  11 function usage {
  12     echo >&2
  13     echo >&2 "usage: $0 (start|stop|restart|test|reset) [options]"
  14     echo >&2
  15     echo >&2 "$0 start/stop/restart options:"
  16     echo >&2 "  -d[port], --doc[=port]        Documentation server (default port 9898)"
  17     echo >&2 "  -w[port], --workbench[=port]  Workbench server (default port 9899)"
  18     echo >&2 "  -s[port], --sso[=port]        SSO server (default port 9901)"
  19     echo >&2 "  -a[port], --api[=port]        API server (default port 9900)"
  20     echo >&2 "  -c, --compute                 Compute nodes (starts 2)"
  21     echo >&2 "  -v, --vm                      Shell server"
  22     echo >&2 "  -n, --nameserver              Nameserver"
  23     echo >&2 "  -k, --keep                    Keep servers"
  24     echo >&2 "  -p, --keepproxy               Keepproxy server"
  25     echo >&2 "  -h, --help                    Display this help and exit"
  26     echo >&2
  27     echo >&2 "  If no options are given, the action is applied to all servers."
  28     echo >&2
  29     echo >&2 "$0 test [testname] [testname] ..."
  30     echo >&2 "  By default, all tests are run."
  31 }
  32
  33 function ip_address {
  34     local container=$1
  35     echo `$DOCKER inspect $container  |grep IPAddress |cut -f4 -d\"`
  36 }
  37
  38 function start_container {
  39     local args="-d -i -t"
  40     if [[ "$1" != '' ]]; then
  41       local port="$1"
  42       args="$args -p $port"
  43     fi
  44     if [[ "$2" != '' ]]; then
  45       local name="$2"
  46       if [[ "$name" == "api_server" ]]; then
  47         args="$args --dns=172.17.42.1 --dns-search=compute.dev.arvados --hostname api -P --name $name"
  48       elif [[ "$name" == "compute" ]]; then
  49         name=$name$COMPUTE_COUNTER
  50         # We need --privileged because we run docker-inside-docker on the compute nodes
  51         args="$args --dns=172.17.42.1 --dns-search=compute.dev.arvados --hostname compute$COMPUTE_COUNTER -P --privileged --name $name"
  52         let COMPUTE_COUNTER=$(($COMPUTE_COUNTER + 1))
  53       else
  54         args="$args --dns=172.17.42.1 --dns-search=dev.arvados --hostname ${name#_server} --name $name"
  55       fi
  56     fi
  57     if [[ "$3" != '' ]]; then
  58       local volume="$3"
  59       args="$args --volumes-from $volume"
  60     fi
  61     if [[ "$4" != '' ]]; then
  62       local link="$4"
  63       args="$args --link $link"
  64     fi
  65     local image=$5
  66
  67     `$DOCKER ps |grep -P "$name[^/]" -q`
  68     if [[ "$?" == "0" ]]; then
  69       echo "You have a running container with name $name -- skipping."
  70       return
  71     fi
  72
  73     echo "Starting container: $name"
  74     `$DOCKER ps --all |grep -P "$name[^/]" -q`
  75     if [[ "$?" == "0" ]]; then
  76         echo "  $DOCKER start $name"
  77         container=`$DOCKER start $name`
  78     else
  79         echo "  $DOCKER run $args $image"
  80         container=`$DOCKER run $args $image`
  81     fi
  82
  83     if [ "$?" != "0" -o "$container" = "" ]; then
  84       echo "Unable to start container"
  85       exit 1
  86     else
  87       echo "Started container: $container"
  88     fi
  89
  90     if [[ "$name" == "doc_server" ]]; then
  91       echo
  92       echo "******************************************************************"
  93       echo "You can access the Arvados documentation at http://doc.dev.arvados"
  94       echo "******************************************************************"
  95       echo
  96     fi
  97
  98     if [[ "$name" == "workbench_server" ]]; then
  99       echo
 100       echo "********************************************************************"
 101       echo "You can access the Arvados workbench at http://workbench.dev.arvados"
 102       echo "********************************************************************"
 103       echo
 104    fi
 105
 106
 107 }
 108
 109 # Create a Docker data volume
 110 function make_keep_volumes () {
 111     `$DOCKER ps --all |grep -P "keep_data[^/]" -q`
 112     if [[ "$?" == "0" ]]; then
 113       return
 114     fi
 115     docker create -v /keep-data --name keep_data arvados/keep
 116 }
 117
 118 function do_start {
 119     local start_doc=false
 120     local start_sso=false
 121     local start_api=false
 122     local start_compute=false
 123     local start_workbench=false
 124     local start_vm=false
 125     local start_nameserver=false
 126     local start_keep=false
 127     local start_keepproxy=false
 128     local
 129
 130     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 131     local TEMP=`getopt -o d::s::a::cw::nkpvh \
 132                   --long doc::,sso::,api::,compute,workbench::,nameserver,keep,keepproxy,vm,help \
 133                   -n "$0" -- "$@"`
 134
 135     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 136
 137     # Note the quotes around `$TEMP': they are essential!
 138     eval set -- "$TEMP"
 139
 140     while [ $# -ge 1 ]
 141     do
 142         case $1 in
 143             -d | --doc)
 144                 case "$2" in
 145                     "") start_doc=9898; shift 2 ;;
 146                     *)  start_doc=$2; shift 2 ;;
 147                 esac
 148                 ;;
 149             -s | --sso)
 150                 case "$2" in
 151                     "") start_sso=9901; shift 2 ;;
 152                     *)  start_sso=$2; shift 2 ;;
 153                 esac
 154                 ;;
 155             -a | --api)
 156                 case "$2" in
 157                     "") start_api=9900; shift 2 ;;
 158                     *)  start_api=$2; shift 2 ;;
 159                 esac
 160                 ;;
 161             -c | --compute)
 162                 start_compute=2
 163                 shift
 164                 ;;
 165             -w | --workbench)
 166                 case "$2" in
 167                     "") start_workbench=9899; shift 2 ;;
 168                     *)  start_workbench=$2; shift 2 ;;
 169                 esac
 170                 ;;
 171             -v | --vm)
 172                 start_vm=true
 173                 shift
 174                 ;;
 175             -n | --nameserver)
 176                 start_nameserver=true
 177                 shift
 178                 ;;
 179             -k | --keep)
 180                 start_keep=true
 181                 shift
 182                 ;;
 183             -p | --keepproxy)
 184                 start_keepproxy=true
 185                 shift
 186                 ;;
 187             --)
 188                 shift
 189                 break
 190                 ;;
 191             *)
 192                 usage
 193                 exit 1
 194                 ;;
 195         esac
 196     done
 197
 198     # If no options were selected, then start all servers.
 199     if [[ $start_doc == false &&
 200           $start_sso == false &&
 201           $start_api == false &&
 202           $start_compute == false &&
 203           $start_workbench == false &&
 204           $start_vm == false &&
 205           $start_nameserver == false &&
 206           $start_keep == false &&
 207           $start_keepproxy == false ]]
 208     then
 209         start_doc=9898
 210         #the sso server is currently not used by default so don't start it unless explicitly requested
 211         #start_sso=9901
 212         start_api=9900
 213         start_compute=2
 214         start_workbench=9899
 215         start_vm=true
 216         start_nameserver=true
 217         start_keep=true
 218         start_keepproxy=true
 219     fi
 220
 221     if [[ $start_nameserver != false ]]
 222     then
 223       # We rely on skydock and skydns for dns discovery between the slurm controller and compute nodes,
 224       # so make sure they are running
 225       $DOCKER ps | grep skydns >/dev/null
 226       if [[ "$?" != "0" ]]; then
 227         echo "Starting crosbymichael/skydns container..."
 228         $DOCKER rm "skydns" 2>/dev/null
 229         echo $DOCKER run -d -p 172.17.42.1:53:53/udp --name skydns crosbymichael/skydns -nameserver 8.8.8.8:53 -domain arvados
 230         $DOCKER run -d -p 172.17.42.1:53:53/udp --name skydns crosbymichael/skydns -nameserver 8.8.8.8:53 -domain arvados
 231       fi
 232       $DOCKER ps | grep skydock >/dev/null
 233       if [[ "$?" != "0" ]]; then
 234         echo "Starting crosbymichael/skydock container..."
 235         $DOCKER rm "skydock" 2>/dev/null
 236         echo $DOCKER run -d -v /var/run/docker.sock:/docker.sock --name skydock crosbymichael/skydock -ttl 30 -environment dev -s /docker.sock -domain arvados -name skydns
 237         $DOCKER run -d -v /var/run/docker.sock:/docker.sock --name skydock crosbymichael/skydock -ttl 30 -environment dev -s /docker.sock -domain arvados -name skydns
 238       fi
 239     fi
 240
 241     if [[ $start_sso != false ]]
 242     then
 243         start_container "$start_sso:443" "sso_server" '' '' "arvados/sso"
 244     fi
 245
 246     if [[ $start_api != false ]]
 247     then
 248       if [[ $start_sso != false ]]; then
 249         start_container "$start_api:443" "api_server" '' "sso_server:sso" "arvados/api"
 250       else
 251         start_container "$start_api:443" "api_server" '' '' "arvados/api"
 252       fi
 253     fi
 254
 255     if [[ $start_compute != false ]]
 256     then
 257         for i in `seq 0 $(($start_compute - 1))`; do
 258           start_container "" "compute" '' "api_server:api" "arvados/compute"
 259         done
 260     fi
 261
 262     if [[ $start_keep != false ]]
 263     then
 264         # create `keep_volumes' array with a list of keep mount points
 265         # remove any stale metadata from those volumes before starting them
 266         make_keep_volumes
 267         start_container "25107:25107" "keep_server_0" \
 268             "keep_data" \
 269             "api_server:api" \
 270             "arvados/keep"
 271         start_container "25108:25107" "keep_server_1" \
 272             "keep_data" \
 273             "api_server:api" \
 274             "arvados/keep"
 275     fi
 276
 277     if [[ $start_keepproxy != false ]]
 278     then
 279         start_container "9902:9100" "keepproxy_server" '' \
 280             "api_server:api" \
 281             "arvados/keepproxy"
 282     fi
 283
 284     if [[ $start_doc != false ]]
 285     then
 286         start_container "$start_doc:80" "doc_server" '' '' "arvados/doc"
 287     fi
 288
 289     if [[ $start_vm != false ]]
 290     then
 291         start_container "" "shell" '' "api_server:api" "arvados/shell"
 292     fi
 293
 294     if [[ $start_workbench != false ]]
 295     then
 296         start_container "$start_workbench:80" "workbench_server" '' "api_server:api" "arvados/workbench"
 297     fi
 298
 299     if [[ $start_api != false ]]
 300     then
 301         if [[ -f "api/generated/superuser_token" ]]
 302         then
 303           if [ -d $HOME/.config/arvados ] || mkdir -p $HOME/.config/arvados
 304           then
 305             cat >$HOME/.config/arvados/settings.conf <<EOF
 306 ARVADOS_API_HOST=$(ip_address "api_server")
 307 ARVADOS_API_HOST_INSECURE=yes
 308 ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 309 EOF
 310           fi
 311         fi
 312     fi
 313
 314     `cat /etc/resolv.conf |grep -P "nameserver 172\.17\.42\.1" -q`
 315     if [[ "$?" == "1" ]]; then
 316         echo
 317         echo "******************************************************************"
 318         echo "To access Arvados you must add the Arvados nameserver to the top"
 319         echo "of your DNS configuration in /etc/resolv.conf:"
 320         echo "nameserver 172.17.42.1"
 321         echo "******************************************************************"
 322         echo
 323     fi
 324 }
 325
 326 function do_stop {
 327     local stop_doc=""
 328     local stop_sso=""
 329     local stop_api=""
 330     local stop_compute=""
 331     local stop_workbench=""
 332     local stop_nameserver=""
 333     local stop_vm=""
 334     local stop_keep=""
 335     local stop_keepproxy=""
 336
 337     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 338     local TEMP=`getopt -o dsacwnkpvh \
 339                   --long doc,sso,api,compute,workbench,nameserver,keep,keepproxy,vm,help \
 340                   -n "$0" -- "$@"`
 341
 342     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 343
 344     # Note the quotes around `$TEMP': they are essential!
 345     eval set -- "$TEMP"
 346
 347     while [ $# -ge 1 ]
 348     do
 349         case $1 in
 350             -d | --doc)
 351                 stop_doc=doc_server ; shift ;;
 352             -s | --sso)
 353                 stop_sso=sso_server ; shift ;;
 354             -a | --api)
 355                 stop_api=api_server ; shift ;;
 356             -c | --compute)
 357                 stop_compute=`$DOCKER ps |grep -P "compute\d+" |grep -v api_server |cut -f1 -d ' '` ; shift ;;
 358             -w | --workbench)
 359                 stop_workbench=workbench_server ; shift ;;
 360             -n | --nameserver )
 361                 stop_nameserver="skydock skydns" ; shift ;;
 362             -v | --vm )
 363                 stop_vm="shell" ; shift ;;
 364             -k | --keep )
 365                 stop_keep="keep_server_0 keep_server_1" ; shift ;;
 366             -p | --keepproxy )
 367                 stop_keep="keepproxy_server" ; shift ;;
 368             --)
 369                 shift
 370                 break
 371                 ;;
 372             *)
 373                 usage
 374                 exit 1
 375                 ;;
 376         esac
 377     done
 378
 379     # If no options were selected, then stop all servers.
 380     if [[ $stop_doc == "" &&
 381           $stop_sso == "" &&
 382           $stop_api == "" &&
 383           $stop_compute == "" &&
 384           $stop_workbench == "" &&
 385           $stop_vm == "" &&
 386           $stop_nameserver == "" &&
 387           $stop_keep == "" &&
 388           $stop_keepproxy == "" ]]
 389     then
 390         stop_doc=doc_server
 391         stop_sso=sso_server
 392         stop_api=api_server
 393         stop_compute=`$DOCKER ps |grep -P "compute\d+" |grep -v api_server |cut -f1 -d ' '`
 394         stop_workbench=workbench_server
 395         stop_vm=shell
 396         stop_nameserver="skydock skydns"
 397         stop_keep="keep_server_0 keep_server_1"
 398         stop_keepproxy="keepproxy_server"
 399     fi
 400
 401     $DOCKER stop $stop_doc $stop_sso $stop_api $stop_compute $stop_workbench $stop_nameserver $stop_keep $stop_keepproxy $stop_vm \
 402         2>/dev/null
 403 }
 404
 405 function do_test {
 406     local alltests
 407     if [ $# -lt 1 ]
 408     then
 409         alltests="python-sdk api"
 410     else
 411         alltests="$@"
 412     fi
 413
 414     for testname in $alltests
 415     do
 416         echo "testing $testname..."
 417         case $testname in
 418             python-sdk)
 419                 do_start --api --keep --sso
 420                 export ARVADOS_API_HOST=$(ip_address "api_server")
 421                 export ARVADOS_API_HOST_INSECURE=yes
 422                 export ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 423                 python -m unittest discover ../sdk/python
 424                 ;;
 425             api)
 426                 $DOCKER run -t -i arvados/api \
 427                     /usr/src/arvados/services/api/script/rake_test.sh
 428                 ;;
 429             *)
 430                 echo >&2 "unknown test $testname"
 431                 ;;
 432         esac
 433     done
 434 }
 435
 436 function do_reset {
 437     for name in skydock skydns workbench_server shell doc_server keepproxy_server keep_server_0 keep_server_1 compute0 compute1 api_server keepproxy keep_data
 438     do
 439         `$DOCKER ps |grep -P "$name[^/]" -q`
 440         if [[ "$?" == "0" ]]; then
 441             echo "  $DOCKER stop $name"
 442             $DOCKER stop $name
 443         fi
 444         `$DOCKER ps --all |grep -P "$name[^/]" -q`
 445         if [[ "$?" == "0" ]]; then
 446             echo "  $DOCKER rm $name"
 447             $DOCKER rm $name
 448         fi
 449     done
 450 }
 451
 452 if [ $# -lt 1 ]
 453 then
 454   usage
 455   exit 1
 456 fi
 457
 458 case $1 in
 459     start)
 460         shift
 461         do_start $@
 462         ;;
 463     stop)
 464         shift
 465         do_stop $@
 466         ;;
 467     restart)
 468         shift
 469         do_stop $@
 470         do_start $@
 471         ;;
 472     test)
 473         shift
 474         do_test $@
 475         ;;
 476     reset)
 477         shift
 478         do_reset $@
 479         ;;
 480     *)
 481         usage
 482         exit 1
 483         ;;
 484 esac