docker/arvdock

   1 #!/bin/bash
   2
   3 DOCKER=`which docker.io`
   4
   5 if [[ "$DOCKER" == "" ]]; then
   6     DOCKER=`which docker`
   7 fi
   8
   9 CURL=`which curl`
  10
  11 COMPUTE_COUNTER=0
  12
  13 ARVADOS_DOMAIN=dev.arvados
  14
  15 function usage {
  16     echo >&2
  17     echo >&2 "usage: $0 (start|stop|restart|reset|test) [options]"
  18     echo >&2
  19     echo >&2 "start    run new or restart stopped arvados containers"
  20     echo >&2 "stop     stop arvados containers"
  21     echo >&2 "restart  stop and then start arvados containers"
  22     echo >&2 "reset    stop and delete containers WARNING: this will delete the data inside Arvados!"
  23     echo >&2 "test     run tests"
  24     echo >&2
  25     echo >&2 "$0 options:"
  26     echo >&2 "  -b[bridge], --bridge[=bridge] Docker bridge (default bridge docker0)"
  27     echo >&2 "  -d[port], --doc[=port]        Documentation server (default port 9898)"
  28     echo >&2 "  -w[port], --workbench[=port]  Workbench server (default port 9899)"
  29     echo >&2 "  -s[port], --sso[=port]        SSO server (default port 9901)"
  30     echo >&2 "  -a[port], --api[=port]        API server (default port 9900)"
  31     echo >&2 "  -c, --compute                 Compute nodes (starts 2)"
  32     echo >&2 "  -v, --vm                      Shell server"
  33     echo >&2 "  -n, --nameserver              Nameserver"
  34     echo >&2 "  -k, --keep                    Keep servers"
  35     echo >&2 "  -p, --keepproxy               Keepproxy server"
  36     echo >&2 "  -h, --help                    Display this help and exit"
  37     echo >&2
  38     echo >&2 "  If no options are given, the action is applied to all servers."
  39     echo >&2
  40     echo >&2 "$0 test [testname] [testname] ..."
  41     echo >&2 "  By default, all tests are run."
  42 }
  43
  44 function ip_address {
  45     local container=$1
  46     echo `$DOCKER inspect $container  |grep IPAddress |cut -f4 -d\"`
  47 }
  48
  49 function bridge_ip_address {
  50     local bridge_name=$1
  51     # FIXME: add a more robust check here.
  52     # because ip command could be mising, multiple docker bridges could be there.. etc.
  53     echo $(ip --oneline --family inet addr show dev "$bridge_name" | awk '{ print $4 }'| cut -d/ -f1 )
  54 }
  55
  56 function start_container {
  57     bridge_ip=$(bridge_ip_address "$bridge")
  58
  59     local args="-d -i -t"
  60     if [[ "$1" != '' ]]; then
  61       local port="$1"
  62       args="$args -p $port"
  63     fi
  64     if [[ "$2" != '' ]]; then
  65       local name="$2"
  66       if [[ "$name" == "api_server" ]]; then
  67         args="$args --dns=$bridge_ip --dns-search=compute.$ARVADOS_DOMAIN --hostname api -P --name $name"
  68       elif [[ "$name" == "compute" ]]; then
  69         name=$name$COMPUTE_COUNTER
  70         # We need --privileged because we run docker-inside-docker on the compute nodes
  71         args="$args --dns=$bridge_ip --dns-search=compute.$ARVADOS_DOMAIN --hostname compute$COMPUTE_COUNTER -P --privileged --name $name"
  72         let COMPUTE_COUNTER=$(($COMPUTE_COUNTER + 1))
  73       else
  74         args="$args --dns=$bridge_ip --dns-search=$ARVADOS_DOMAIN --hostname ${name#_server} --name $name"
  75       fi
  76     fi
  77     if [[ "$3" != '' ]]; then
  78       local volume="$3"
  79       args="$args --volumes-from $volume"
  80     fi
  81     if [[ "$4" != '' ]]; then
  82       local link="$4"
  83       args="$args --link $link"
  84     fi
  85     local image=$5
  86
  87     `$DOCKER ps |grep -E "\b$name\b" -q`
  88     if [[ "$?" == "0" ]]; then
  89       echo "You have a running container with name $name -- skipping."
  90       return
  91     fi
  92
  93     echo "Starting container: $name"
  94     `$DOCKER ps --all |grep -E "\b$name\b" -q`
  95     if [[ "$?" == "0" ]]; then
  96         echo "  $DOCKER start $name"
  97         container=`$DOCKER start $name`
  98     else
  99         echo "  $DOCKER run $args $image"
 100         container=`$DOCKER run $args $image`
 101     fi
 102
 103     if [ "$?" != "0" -o "$container" = "" ]; then
 104       echo "Unable to start container"
 105       exit 1
 106     else
 107       echo "Started container: $container"
 108     fi
 109
 110 }
 111
 112 # Create a Docker data volume
 113 function make_keep_volumes () {
 114     `$DOCKER ps --all |grep -E "\bkeep_data\b" -q`
 115     if [[ "$?" == "0" ]]; then
 116       return
 117     fi
 118     docker create -v /keep-data --name keep_data arvados/keep
 119 }
 120
 121 function do_start {
 122     local start_doc=false
 123     local start_sso=false
 124     local start_api=false
 125     local start_compute=false
 126     local start_workbench=false
 127     local start_vm=false
 128     local start_nameserver=false
 129     local start_keep=false
 130     local start_keepproxy=false
 131     local bridge="docker0"
 132     local
 133
 134     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 135     local TEMP=`getopt -o d::s::b:a::cw::nkpvh \
 136                   --long doc::,sso::,api::,bridge:,compute,workbench::,nameserver,keep,keepproxy,vm,help \
 137                   -n "$0" -- "$@"`
 138
 139     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 140
 141     # Note the quotes around `$TEMP': they are essential!
 142     eval set -- "$TEMP"
 143
 144     while [ $# -ge 1 ]
 145     do
 146         case $1 in
 147             -b | --bridge)
 148                 case "$2" in
 149                     *)  start_bridge=$2; shift 2 ;;
 150                 esac
 151                 ;;
 152             -d | --doc)
 153                 case "$2" in
 154                     "") start_doc=9898; shift 2 ;;
 155                     *)  start_doc=$2; shift 2 ;;
 156                 esac
 157                 ;;
 158             -s | --sso)
 159                 case "$2" in
 160                     "") start_sso=9901; shift 2 ;;
 161                     *)  start_sso=$2; shift 2 ;;
 162                 esac
 163                 ;;
 164             -a | --api)
 165                 case "$2" in
 166                     "") start_api=9900; shift 2 ;;
 167                     *)  start_api=$2; shift 2 ;;
 168                 esac
 169                 ;;
 170             -c | --compute)
 171                 start_compute=2
 172                 shift
 173                 ;;
 174             -w | --workbench)
 175                 case "$2" in
 176                     "") start_workbench=9899; shift 2 ;;
 177                     *)  start_workbench=$2; shift 2 ;;
 178                 esac
 179                 ;;
 180             -v | --vm)
 181                 start_vm=true
 182                 shift
 183                 ;;
 184             -n | --nameserver)
 185                 start_nameserver=true
 186                 shift
 187                 ;;
 188             -k | --keep)
 189                 start_keep=true
 190                 shift
 191                 ;;
 192             -p | --keepproxy)
 193                 start_keepproxy=true
 194                 shift
 195                 ;;
 196             --)
 197                 shift
 198                 break
 199                 ;;
 200             *)
 201                 usage
 202                 exit 1
 203                 ;;
 204         esac
 205     done
 206
 207     # If no options were selected, then start all servers.
 208     if [[ $start_doc == false &&
 209           $start_sso == false &&
 210           $start_api == false &&
 211           $start_compute == false &&
 212           $start_workbench == false &&
 213           $start_vm == false &&
 214           $start_nameserver == false &&
 215           $start_keep == false &&
 216           $start_keepproxy == false ]]
 217     then
 218         start_doc=9898
 219         start_sso=9901
 220         start_api=9900
 221         start_compute=2
 222         start_workbench=9899
 223         #start_vm=true
 224         start_nameserver=true
 225         start_keep=true
 226         start_keepproxy=true
 227     fi
 228
 229     if [[ $start_nameserver != false ]]
 230     then
 231       $DOCKER ps | grep skydns >/dev/null
 232       need_skydns="$?"
 233
 234       $DOCKER ps | grep skydock >/dev/null
 235       need_skydock="$?"
 236
 237       if [[ "$need_skydns" != 0 || "$need_skydock" != 0 ]]
 238       then
 239           # skydns and skydock need to both be running before everything else.
 240           # If they are not running we need to shut everything down and start
 241           # over, otherwise DNS will be broken and the containers won't find each other.
 242           do_stop
 243           need_skydns=1
 244           need_skydock=1
 245       fi
 246
 247       # We rely on skydock and skydns for dns discovery between the slurm controller and compute nodes,
 248       # so make sure they are running
 249       $DOCKER ps | grep skydns >/dev/null
 250       if [[ $need_skydns != "0" ]]; then
 251         echo "Detecting bridge '$bridge' IP for crosbymichael/skydns"
 252         bridge_ip=$(bridge_ip_address "$bridge")
 253
 254         echo "Starting crosbymichael/skydns container..."
 255         $DOCKER rm "skydns" 2>/dev/null
 256         echo $DOCKER run -d -p $bridge_ip:53:53/udp --name skydns crosbymichael/skydns -nameserver 8.8.8.8:53 -domain arvados
 257         $DOCKER run -d -p $bridge_ip:53:53/udp --name skydns crosbymichael/skydns -nameserver 8.8.8.8:53 -domain arvados
 258       fi
 259       $DOCKER ps | grep skydock >/dev/null
 260       if [[ "$need_skydock" != "0" ]]; then
 261         echo "Starting crosbymichael/skydock container..."
 262         $DOCKER rm "skydock" 2>/dev/null
 263         echo $DOCKER run -d -v /var/run/docker.sock:/docker.sock --name skydock crosbymichael/skydock -ttl 30 -environment dev -s /docker.sock -domain arvados -name skydns
 264         $DOCKER run -d -v /var/run/docker.sock:/docker.sock --name skydock crosbymichael/skydock -ttl 30 -environment dev -s /docker.sock -domain arvados -name skydns
 265       fi
 266     fi
 267
 268     if [[ $start_sso != false ]]
 269     then
 270         start_container "$start_sso:443" "sso_server" '' '' "arvados/sso"
 271     fi
 272
 273     if [[ $start_api != false ]]
 274     then
 275       if [[ $start_sso != false ]]; then
 276         start_container "$start_api:443" "api_server" '' "sso_server:sso" "arvados/api"
 277       else
 278         start_container "$start_api:443" "api_server" '' '' "arvados/api"
 279       fi
 280     fi
 281
 282     if [[ $start_compute != false ]]
 283     then
 284         for i in `seq 0 $(($start_compute - 1))`; do
 285           start_container "" "compute" '' "api_server:api" "arvados/compute"
 286         done
 287     fi
 288
 289     if [[ $start_keep != false ]]
 290     then
 291         # create `keep_volumes' array with a list of keep mount points
 292         # remove any stale metadata from those volumes before starting them
 293         make_keep_volumes
 294         start_container "25107:25107" "keep_server_0" \
 295             "keep_data" \
 296             "api_server:api" \
 297             "arvados/keep"
 298         start_container "25108:25107" "keep_server_1" \
 299             "keep_data" \
 300             "api_server:api" \
 301             "arvados/keep"
 302     fi
 303
 304     if [[ $start_keepproxy != false ]]
 305     then
 306         start_container "9902:9100" "keepproxy_server" '' \
 307             "api_server:api" \
 308             "arvados/keepproxy"
 309     fi
 310
 311     if [[ $start_doc != false ]]
 312     then
 313         start_container "$start_doc:80" "doc_server" '' '' "arvados/doc"
 314     fi
 315
 316     if [[ $start_vm != false ]]
 317     then
 318         start_container "" "shell" '' "api_server:api" "arvados/shell"
 319     fi
 320
 321     if [[ $start_workbench != false ]]
 322     then
 323         start_container "" "workbench_server" '' "" "arvados/workbench"
 324     fi
 325
 326     if [[ $start_api != false ]]
 327     then
 328         if [[ -f "api/generated/superuser_token" ]]
 329         then
 330           if [ -d $HOME/.config/arvados ] || mkdir -p $HOME/.config/arvados
 331           then
 332             cat >$HOME/.config/arvados/settings.conf <<EOF
 333 ARVADOS_API_HOST=$(ip_address "api_server")
 334 ARVADOS_API_HOST_INSECURE=yes
 335 ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 336 EOF
 337           fi
 338         fi
 339     fi
 340
 341     if [ "$(awk '($1 == "nameserver"){print $2; exit}' </etc/resolv.conf)" != "$bridge_ip" ]; then
 342         echo
 343         echo "******************************************************************"
 344         echo "To access Arvados you must add the Arvados nameserver to the top"
 345         echo "of your DNS configuration in /etc/resolv.conf:"
 346         echo "nameserver $bridge_ip"
 347         echo
 348         echo "Then run '$0 start' again"
 349         echo "******************************************************************"
 350         echo
 351     else
 352         while ! $CURL -k -L -f http://workbench.$ARVADOS_DOMAIN >/dev/null 2>/dev/null ; do
 353             echo "Waiting for Arvados to be ready."
 354             sleep 1
 355         done
 356
 357         `$DOCKER ps |grep -E "\bdoc_server\b" -q`
 358         if [[ "$?" == "0" ]]; then
 359             echo
 360             echo "******************************************************************"
 361             echo "You can access the Arvados documentation at http://doc.$ARVADOS_DOMAIN"
 362             echo "******************************************************************"
 363             echo
 364         fi
 365
 366         `$DOCKER ps |grep -E "\bworkbench_server\b" -q`
 367         if [[ "$?" == "0" ]]; then
 368             echo
 369             echo "********************************************************************"
 370             echo "You can access the Arvados workbench at http://workbench.$ARVADOS_DOMAIN"
 371             echo "********************************************************************"
 372             echo
 373         fi
 374     fi
 375
 376 }
 377
 378 function do_stop {
 379     local stop_doc=""
 380     local stop_sso=""
 381     local stop_api=""
 382     local stop_compute=""
 383     local stop_workbench=""
 384     local stop_nameserver=""
 385     local stop_vm=""
 386     local stop_keep=""
 387     local stop_keepproxy=""
 388
 389     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 390     local TEMP=`getopt -o dsacwnkpvh \
 391                   --long doc,sso,api,compute,workbench,nameserver,keep,keepproxy,vm,help \
 392                   -n "$0" -- "$@"`
 393
 394     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 395
 396     # Note the quotes around `$TEMP': they are essential!
 397     eval set -- "$TEMP"
 398
 399     while [ $# -ge 1 ]
 400     do
 401         case $1 in
 402             -d | --doc)
 403                 stop_doc=doc_server ; shift ;;
 404             -s | --sso)
 405                 stop_sso=sso_server ; shift ;;
 406             -a | --api)
 407                 stop_api=api_server ; shift ;;
 408             -c | --compute)
 409                 stop_compute=`$DOCKER ps |grep -E "\bcompute[0-9]+\b" |grep -v api_server |cut -f1 -d ' '` ; shift ;;
 410             -w | --workbench)
 411                 stop_workbench=workbench_server ; shift ;;
 412             -n | --nameserver )
 413                 stop_nameserver="skydock skydns" ; shift ;;
 414             -v | --vm )
 415                 stop_vm="shell" ; shift ;;
 416             -k | --keep )
 417                 stop_keep="keep_server_0 keep_server_1" ; shift ;;
 418             -p | --keepproxy )
 419                 stop_keep="keepproxy_server" ; shift ;;
 420             --)
 421                 shift
 422                 break
 423                 ;;
 424             *)
 425                 usage
 426                 exit 1
 427                 ;;
 428         esac
 429     done
 430
 431     # If no options were selected, then stop all servers.
 432     if [[ $stop_doc == "" &&
 433           $stop_sso == "" &&
 434           $stop_api == "" &&
 435           $stop_compute == "" &&
 436           $stop_workbench == "" &&
 437           $stop_vm == "" &&
 438           $stop_nameserver == "" &&
 439           $stop_keep == "" &&
 440           $stop_keepproxy == "" ]]
 441     then
 442         stop_doc=doc_server
 443         stop_sso=sso_server
 444         stop_api=api_server
 445         stop_compute=`$DOCKER ps |grep -E "\bcompute[0-9]+\b" |grep -v api_server |cut -f1 -d ' '`
 446         stop_workbench=workbench_server
 447         stop_vm=shell
 448         stop_nameserver="skydock skydns"
 449         stop_keep="keep_server_0 keep_server_1"
 450         stop_keepproxy="keepproxy_server"
 451     fi
 452
 453     $DOCKER stop $stop_doc $stop_sso $stop_api $stop_compute $stop_workbench $stop_nameserver $stop_keep $stop_keepproxy $stop_vm \
 454         2>/dev/null
 455 }
 456
 457 function do_test {
 458     local alltests
 459     if [ $# -lt 1 ]
 460     then
 461         alltests="python-sdk api"
 462     else
 463         alltests="$@"
 464     fi
 465
 466     for testname in $alltests
 467     do
 468         echo "testing $testname..."
 469         case $testname in
 470             python-sdk)
 471                 do_start --api --keep --sso
 472                 export ARVADOS_API_HOST=$(ip_address "api_server")
 473                 export ARVADOS_API_HOST_INSECURE=yes
 474                 export ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 475                 python -m unittest discover ../sdk/python
 476                 ;;
 477             api)
 478                 $DOCKER run -t -i arvados/api \
 479                     /usr/src/arvados/services/api/script/rake_test.sh
 480                 ;;
 481             *)
 482                 echo >&2 "unknown test $testname"
 483                 ;;
 484         esac
 485     done
 486 }
 487
 488 function do_reset {
 489     for name in skydock skydns workbench_server shell doc_server keepproxy_server keep_server_0 keep_server_1 compute0 compute1 api_server keepproxy keep_data sso_server
 490     do
 491         `$DOCKER ps |grep -E "\b$name\b" -q`
 492         if [[ "$?" == "0" ]]; then
 493             echo "  $DOCKER stop $name"
 494             $DOCKER stop $name
 495         fi
 496         `$DOCKER ps --all |grep -E "\b$name\b" -q`
 497         if [[ "$?" == "0" ]]; then
 498             echo "  $DOCKER rm $name"
 499             $DOCKER rm $name
 500         fi
 501     done
 502 }
 503
 504 if [ "$DOCKER" == '' ]
 505 then
 506   echo "Docker not found. Please install it first."
 507   exit 2
 508 fi
 509
 510 if [ "$CURL" == '' ]
 511 then
 512   echo "Curl not found. Please install it first."
 513   exit 3
 514 fi
 515
 516 if [ $# -lt 1 ]
 517 then
 518   usage
 519   exit 1
 520 fi
 521
 522 case $1 in
 523     start)
 524         shift
 525         do_start $@
 526         ;;
 527     stop)
 528         shift
 529         do_stop $@
 530         ;;
 531     restart)
 532         shift
 533         do_stop $@
 534         do_start $@
 535         ;;
 536     test)
 537         shift
 538         do_test $@
 539         ;;
 540     reset)
 541         shift
 542         do_reset $@
 543         ;;
 544     *)
 545         usage
 546         exit 1
 547         ;;
 548 esac