docker/arvdock

   1 #!/bin/bash
   2
   3 DOCKER=`which docker.io`
   4
   5 if [[ "$DOCKER" == "" ]]; then
   6     DOCKER=`which docker`
   7 fi
   8
   9 CURL=`which curl`
  10
  11 COMPUTE_COUNTER=0
  12
  13 ARVADOS_DOMAIN=dev.arvados
  14
  15 function usage {
  16     echo >&2
  17     echo >&2 "usage: $0 (start|stop|restart|reset|test) [options]"
  18     echo >&2
  19     echo >&2 "start    run new or restart stopped arvados containers"
  20     echo >&2 "stop     stop arvados containers"
  21     echo >&2 "restart  stop and then start arvados containers"
  22     echo >&2 "reset    stop and delete containers WARNING: this will delete the data inside Arvados!"
  23     echo >&2 "test     run tests"
  24     echo >&2
  25     echo >&2 "$0 options:"
  26     echo >&2 "  -b[bridge], --bridge[=bridge] Docker bridge (default bridge docker0)"
  27     echo >&2 "  -d[port], --doc[=port]        Documentation server (default port 9898)"
  28     echo >&2 "  -w[port], --workbench[=port]  Workbench server (default port 9899)"
  29     echo >&2 "  -s[port], --sso[=port]        SSO server (default port 9901)"
  30     echo >&2 "  -a[port], --api[=port]        API server (default port 9900)"
  31     echo >&2 "  -c, --compute                 Compute nodes (starts 2)"
  32     echo >&2 "  -v, --vm                      Shell server"
  33     echo >&2 "  -n, --nameserver              Nameserver"
  34     echo >&2 "  -k, --keep                    Keep servers"
  35     echo >&2 "  -p, --keepproxy               Keepproxy server"
  36     echo >&2 "  -h, --help                    Display this help and exit"
  37     echo >&2 "      --domain=dns.domain       DNS domain used by containers (default dev.arvados)"
  38     echo >&2
  39     echo >&2 "  If no options are given, the action is applied to all servers."
  40     echo >&2
  41     echo >&2 "$0 test [testname] [testname] ..."
  42     echo >&2 "  By default, all tests are run."
  43 }
  44
  45 function ip_address {
  46     local container=$1
  47     echo `$DOCKER inspect $container  |grep IPAddress |cut -f4 -d\"`
  48 }
  49
  50 function bridge_ip_address {
  51     local bridge_name=$1
  52     # FIXME: add a more robust check here.
  53     # because ip command could be mising, multiple docker bridges could be there.. etc.
  54     echo $(ip --oneline --family inet addr show dev "$bridge_name" | awk '{ print $4 }'| cut -d/ -f1 )
  55 }
  56
  57 function start_container {
  58     bridge_ip=$(bridge_ip_address "$bridge")
  59
  60     local args="-d -i -t"
  61     if [[ "$1" != '' ]]; then
  62       local port="$1"
  63       args="$args -p $port"
  64     fi
  65     if [[ "$2" != '' ]]; then
  66       local name="$2"
  67       if [[ "$name" == "api_server" ]]; then
  68         args="$args --dns=$bridge_ip --dns-search=compute.$ARVADOS_DOMAIN --hostname api -P --name $name"
  69       elif [[ "$name" == "compute" ]]; then
  70         name=$name$COMPUTE_COUNTER
  71         # We need --privileged because we run docker-inside-docker on the compute nodes
  72         args="$args --dns=$bridge_ip --dns-search=compute.$ARVADOS_DOMAIN --hostname compute$COMPUTE_COUNTER -P --privileged --name $name"
  73         let COMPUTE_COUNTER=$(($COMPUTE_COUNTER + 1))
  74       else
  75         args="$args --dns=$bridge_ip --dns-search=$ARVADOS_DOMAIN --hostname ${name#_server} --name $name"
  76       fi
  77     fi
  78     if [[ "$3" != '' ]]; then
  79       local volume="$3"
  80       args="$args --volumes-from $volume"
  81     fi
  82     if [[ "$4" != '' ]]; then
  83       local link="$4"
  84       args="$args --link $link"
  85     fi
  86     local image=$5
  87
  88     `$DOCKER ps |grep -E "\b$name\b" -q`
  89     if [[ "$?" == "0" ]]; then
  90       echo "You have a running container with name $name -- skipping."
  91       return
  92     fi
  93
  94     echo "Starting container: $name"
  95     `$DOCKER ps --all |grep -E "\b$name\b" -q`
  96     if [[ "$?" == "0" ]]; then
  97         echo "  $DOCKER start $name"
  98         container=`$DOCKER start $name`
  99     else
 100         echo "  $DOCKER run $args $image"
 101         container=`$DOCKER run $args $image`
 102     fi
 103
 104     if [ "$?" != "0" -o "$container" = "" ]; then
 105       echo "Unable to start container"
 106       exit 1
 107     else
 108       echo "Started container: $container"
 109     fi
 110
 111 }
 112
 113 # Create a Docker data volume
 114 function make_keep_volumes () {
 115     `$DOCKER ps --all |grep -E "\bkeep_data\b" -q`
 116     if [[ "$?" == "0" ]]; then
 117       return
 118     fi
 119     docker create -v /keep-data --name keep_data arvados/keep
 120 }
 121
 122 function do_start {
 123     local start_doc=false
 124     local start_sso=false
 125     local start_api=false
 126     local start_compute=false
 127     local start_workbench=false
 128     local start_vm=false
 129     local start_nameserver=false
 130     local start_keep=false
 131     local start_keepproxy=false
 132     local bridge="docker0"
 133     local
 134
 135     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 136     local TEMP=`getopt -o d::s::b:a::cw::nkpvh \
 137                   --long doc::,sso::,api::,bridge:,compute,workbench::,nameserver,keep,keepproxy,vm,help,domain:: \
 138                   -n "$0" -- "$@"`
 139
 140     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 141
 142     # Note the quotes around `$TEMP': they are essential!
 143     eval set -- "$TEMP"
 144
 145     while [ $# -ge 1 ]
 146     do
 147         case $1 in
 148             -b | --bridge)
 149                 case "$2" in
 150                     *)  start_bridge=$2; shift 2 ;;
 151                 esac
 152                 ;;
 153             -d | --doc)
 154                 case "$2" in
 155                     "") start_doc=9898; shift 2 ;;
 156                     *)  start_doc=$2; shift 2 ;;
 157                 esac
 158                 ;;
 159             -s | --sso)
 160                 case "$2" in
 161                     "") start_sso=9901; shift 2 ;;
 162                     *)  start_sso=$2; shift 2 ;;
 163                 esac
 164                 ;;
 165             -a | --api)
 166                 case "$2" in
 167                     "") start_api=9900; shift 2 ;;
 168                     *)  start_api=$2; shift 2 ;;
 169                 esac
 170                 ;;
 171             -c | --compute)
 172                 start_compute=2
 173                 shift
 174                 ;;
 175             -w | --workbench)
 176                 case "$2" in
 177                     "") start_workbench=9899; shift 2 ;;
 178                     *)  start_workbench=$2; shift 2 ;;
 179                 esac
 180                 ;;
 181             -v | --vm)
 182                 start_vm=true
 183                 shift
 184                 ;;
 185             -n | --nameserver)
 186                 start_nameserver=true
 187                 shift
 188                 ;;
 189             -k | --keep)
 190                 start_keep=true
 191                 shift
 192                 ;;
 193             -p | --keepproxy)
 194                 start_keepproxy=true
 195                 shift
 196                 ;;
 197             --domain)
 198                 case "$2" in
 199                     *) ARVADOS_DOMAIN="$2"; shift 2 ;;
 200                 esac
 201                 ;;
 202             --)
 203                 shift
 204                 break
 205                 ;;
 206             *)
 207                 usage
 208                 exit 1
 209                 ;;
 210         esac
 211     done
 212
 213     # If no options were selected, then start all servers.
 214     if [[ $start_doc == false &&
 215           $start_sso == false &&
 216           $start_api == false &&
 217           $start_compute == false &&
 218           $start_workbench == false &&
 219           $start_vm == false &&
 220           $start_nameserver == false &&
 221           $start_keep == false &&
 222           $start_keepproxy == false ]]
 223     then
 224         start_doc=9898
 225         start_sso=9901
 226         start_api=9900
 227         start_compute=2
 228         start_workbench=9899
 229         #start_vm=true
 230         start_nameserver=true
 231         start_keep=true
 232         start_keepproxy=true
 233     fi
 234
 235     if [[ $start_nameserver != false ]]
 236     then
 237       $DOCKER ps | grep skydns >/dev/null
 238       need_skydns="$?"
 239
 240       $DOCKER ps | grep skydock >/dev/null
 241       need_skydock="$?"
 242
 243       if [[ "$need_skydns" != 0 || "$need_skydock" != 0 ]]
 244       then
 245           # skydns and skydock need to both be running before everything else.
 246           # If they are not running we need to shut everything down and start
 247           # over, otherwise DNS will be broken and the containers won't find each other.
 248           do_stop
 249           need_skydns=1
 250           need_skydock=1
 251       fi
 252
 253       # We rely on skydock and skydns for dns discovery between the slurm controller and compute nodes,
 254       # so make sure they are running
 255       $DOCKER ps | grep skydns >/dev/null
 256       if [[ $need_skydns != "0" ]]; then
 257         echo "Detecting bridge '$bridge' IP for crosbymichael/skydns"
 258         bridge_ip=$(bridge_ip_address "$bridge")
 259
 260         echo "Starting crosbymichael/skydns container..."
 261         $DOCKER rm "skydns" 2>/dev/null
 262         echo $DOCKER run -d -p $bridge_ip:53:53/udp --name skydns crosbymichael/skydns -nameserver 8.8.8.8:53 -domain arvados
 263         $DOCKER run -d -p $bridge_ip:53:53/udp --name skydns crosbymichael/skydns -nameserver 8.8.8.8:53 -domain arvados
 264       fi
 265       $DOCKER ps | grep skydock >/dev/null
 266       if [[ "$need_skydock" != "0" ]]; then
 267         echo "Starting crosbymichael/skydock container..."
 268         $DOCKER rm "skydock" 2>/dev/null
 269         echo $DOCKER run -d -v /var/run/docker.sock:/docker.sock --name skydock crosbymichael/skydock -ttl 30 -environment dev -s /docker.sock -domain arvados -name skydns
 270         $DOCKER run -d -v /var/run/docker.sock:/docker.sock --name skydock crosbymichael/skydock -ttl 30 -environment dev -s /docker.sock -domain arvados -name skydns
 271       fi
 272     fi
 273
 274     if [[ $start_sso != false ]]
 275     then
 276         start_container "$start_sso:443" "sso_server" '' '' "arvados/sso"
 277     fi
 278
 279     if [[ $start_api != false ]]
 280     then
 281       if [[ $start_sso != false ]]; then
 282         start_container "$start_api:443" "api_server" '' "sso_server:sso" "arvados/api"
 283       else
 284         start_container "$start_api:443" "api_server" '' '' "arvados/api"
 285       fi
 286     fi
 287
 288     if [[ $start_compute != false ]]
 289     then
 290         for i in `seq 0 $(($start_compute - 1))`; do
 291           start_container "" "compute" '' "api_server:api" "arvados/compute"
 292         done
 293     fi
 294
 295     if [[ $start_keep != false ]]
 296     then
 297         # create `keep_volumes' array with a list of keep mount points
 298         # remove any stale metadata from those volumes before starting them
 299         make_keep_volumes
 300         start_container "25107:25107" "keep_server_0" \
 301             "keep_data" \
 302             "api_server:api" \
 303             "arvados/keep"
 304         start_container "25108:25107" "keep_server_1" \
 305             "keep_data" \
 306             "api_server:api" \
 307             "arvados/keep"
 308     fi
 309
 310     if [[ $start_keepproxy != false ]]
 311     then
 312         start_container "9902:9100" "keepproxy_server" '' \
 313             "api_server:api" \
 314             "arvados/keepproxy"
 315     fi
 316
 317     if [[ $start_doc != false ]]
 318     then
 319         start_container "$start_doc:80" "doc_server" '' '' "arvados/doc"
 320     fi
 321
 322     if [[ $start_vm != false ]]
 323     then
 324         start_container "" "shell" '' "api_server:api" "arvados/shell"
 325     fi
 326
 327     if [[ $start_workbench != false ]]
 328     then
 329         start_container "" "workbench_server" '' "" "arvados/workbench"
 330     fi
 331
 332     if [[ $start_api != false ]]
 333     then
 334         if [[ -f "api/generated/superuser_token" ]]
 335         then
 336           if [ -d $HOME/.config/arvados ] || mkdir -p $HOME/.config/arvados
 337           then
 338             cat >$HOME/.config/arvados/settings.conf <<EOF
 339 ARVADOS_API_HOST=$(ip_address "api_server")
 340 ARVADOS_API_HOST_INSECURE=yes
 341 ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 342 EOF
 343           fi
 344         fi
 345     fi
 346
 347     if [ "$(awk '($1 == "nameserver"){print $2; exit}' </etc/resolv.conf)" != "$bridge_ip" ]; then
 348         echo
 349         echo "******************************************************************"
 350         echo "To access Arvados you must add the Arvados nameserver to the top"
 351         echo "of your DNS configuration in /etc/resolv.conf:"
 352         echo "nameserver $bridge_ip"
 353         echo
 354         echo "Then run '$0 start' again"
 355         echo "******************************************************************"
 356         echo
 357     else
 358         while ! $CURL -k -L -f http://workbench.$ARVADOS_DOMAIN >/dev/null 2>/dev/null ; do
 359             echo "Waiting for Arvados to be ready."
 360             sleep 1
 361         done
 362
 363         `$DOCKER ps |grep -E "\bdoc_server\b" -q`
 364         if [[ "$?" == "0" ]]; then
 365             echo
 366             echo "******************************************************************"
 367             echo "You can access the Arvados documentation at http://doc.$ARVADOS_DOMAIN"
 368             echo "******************************************************************"
 369             echo
 370         fi
 371
 372         `$DOCKER ps |grep -E "\bworkbench_server\b" -q`
 373         if [[ "$?" == "0" ]]; then
 374             echo
 375             echo "********************************************************************"
 376             echo "You can access the Arvados workbench at http://workbench.$ARVADOS_DOMAIN"
 377             echo "********************************************************************"
 378             echo
 379         fi
 380     fi
 381
 382 }
 383
 384 function do_stop {
 385     local stop_doc=""
 386     local stop_sso=""
 387     local stop_api=""
 388     local stop_compute=""
 389     local stop_workbench=""
 390     local stop_nameserver=""
 391     local stop_vm=""
 392     local stop_keep=""
 393     local stop_keepproxy=""
 394
 395     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 396     local TEMP=`getopt -o dsacwnkpvh \
 397                   --long doc,sso,api,compute,workbench,nameserver,keep,keepproxy,vm,help,domain:: \
 398                   -n "$0" -- "$@"`
 399
 400     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 401
 402     # Note the quotes around `$TEMP': they are essential!
 403     eval set -- "$TEMP"
 404
 405     while [ $# -ge 1 ]
 406     do
 407         case $1 in
 408             -d | --doc)
 409                 stop_doc=doc_server ; shift ;;
 410             -s | --sso)
 411                 stop_sso=sso_server ; shift ;;
 412             -a | --api)
 413                 stop_api=api_server ; shift ;;
 414             -c | --compute)
 415                 stop_compute=`$DOCKER ps |grep -E "\bcompute[0-9]+\b" |grep -v api_server |cut -f1 -d ' '` ; shift ;;
 416             -w | --workbench)
 417                 stop_workbench=workbench_server ; shift ;;
 418             -n | --nameserver )
 419                 stop_nameserver="skydock skydns" ; shift ;;
 420             -v | --vm )
 421                 stop_vm="shell" ; shift ;;
 422             -k | --keep )
 423                 stop_keep="keep_server_0 keep_server_1" ; shift ;;
 424             -p | --keepproxy )
 425                 stop_keep="keepproxy_server" ; shift ;;
 426             --domain)
 427                 case "$2" in
 428                     *) ARVADOS_DOMAIN="$2"; shift 2 ;;
 429                 esac
 430                 ;;
 431             --)
 432                 shift
 433                 break
 434                 ;;
 435             *)
 436                 usage
 437                 exit 1
 438                 ;;
 439         esac
 440     done
 441
 442     # If no options were selected, then stop all servers.
 443     if [[ $stop_doc == "" &&
 444           $stop_sso == "" &&
 445           $stop_api == "" &&
 446           $stop_compute == "" &&
 447           $stop_workbench == "" &&
 448           $stop_vm == "" &&
 449           $stop_nameserver == "" &&
 450           $stop_keep == "" &&
 451           $stop_keepproxy == "" ]]
 452     then
 453         stop_doc=doc_server
 454         stop_sso=sso_server
 455         stop_api=api_server
 456         stop_compute=`$DOCKER ps |grep -E "\bcompute[0-9]+\b" |grep -v api_server |cut -f1 -d ' '`
 457         stop_workbench=workbench_server
 458         stop_vm=shell
 459         stop_nameserver="skydock skydns"
 460         stop_keep="keep_server_0 keep_server_1"
 461         stop_keepproxy="keepproxy_server"
 462     fi
 463
 464     $DOCKER stop $stop_doc $stop_sso $stop_api $stop_compute $stop_workbench $stop_nameserver $stop_keep $stop_keepproxy $stop_vm \
 465         2>/dev/null
 466 }
 467
 468 function do_test {
 469     local alltests
 470     if [ $# -lt 1 ]
 471     then
 472         alltests="python-sdk api"
 473     else
 474         alltests="$@"
 475     fi
 476
 477     for testname in $alltests
 478     do
 479         echo "testing $testname..."
 480         case $testname in
 481             python-sdk)
 482                 do_start --api --keep --sso
 483                 export ARVADOS_API_HOST=$(ip_address "api_server")
 484                 export ARVADOS_API_HOST_INSECURE=yes
 485                 export ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 486                 python -m unittest discover ../sdk/python
 487                 ;;
 488             api)
 489                 $DOCKER run -t -i arvados/api \
 490                     /usr/src/arvados/services/api/script/rake_test.sh
 491                 ;;
 492             *)
 493                 echo >&2 "unknown test $testname"
 494                 ;;
 495         esac
 496     done
 497 }
 498
 499 function do_reset {
 500     for name in skydock skydns workbench_server shell doc_server keepproxy_server keep_server_0 keep_server_1 compute0 compute1 api_server keepproxy keep_data sso_server
 501     do
 502         `$DOCKER ps |grep -E "\b$name\b" -q`
 503         if [[ "$?" == "0" ]]; then
 504             echo "  $DOCKER stop $name"
 505             $DOCKER stop $name
 506         fi
 507         `$DOCKER ps --all |grep -E "\b$name\b" -q`
 508         if [[ "$?" == "0" ]]; then
 509             echo "  $DOCKER rm $name"
 510             $DOCKER rm $name
 511         fi
 512     done
 513 }
 514
 515 if [ "$DOCKER" == '' ]
 516 then
 517   echo "Docker not found. Please install it first."
 518   exit 2
 519 fi
 520
 521 if [ "$CURL" == '' ]
 522 then
 523   echo "Curl not found. Please install it first."
 524   exit 3
 525 fi
 526
 527 if [ $# -lt 1 ]
 528 then
 529   usage
 530   exit 1
 531 fi
 532
 533 case $1 in
 534     start)
 535         shift
 536         do_start $@
 537         ;;
 538     stop)
 539         shift
 540         do_stop $@
 541         ;;
 542     restart)
 543         shift
 544         do_stop $@
 545         do_start $@
 546         ;;
 547     test)
 548         shift
 549         do_test $@
 550         ;;
 551     reset)
 552         shift
 553         do_reset $@
 554         ;;
 555     *)
 556         usage
 557         exit 1
 558         ;;
 559 esac