docker/arvdock

   1 #!/bin/bash
   2
   3 DOCKER=`which docker.io`
   4
   5 if [[ "$DOCKER" == "" ]]; then
   6     DOCKER=`which docker`
   7 fi
   8
   9 CURL=`which curl`
  10
  11 COMPUTE_COUNTER=0
  12
  13 function usage {
  14     echo >&2
  15     echo >&2 "usage: $0 (start|stop|restart|reset|test) [options]"
  16     echo >&2
  17     echo >&2 "start    run new or restart stopped arvados containers"
  18     echo >&2 "stop     stop arvados containers"
  19     echo >&2 "restart  stop and then start arvados containers"
  20     echo >&2 "reset    stop and delete containers WARNING: this will delete the data inside Arvados!"
  21     echo >&2 "test     run tests"
  22     echo >&2
  23     echo >&2 "$0 options:"
  24     echo >&2 "  -b[bridge], --bridge[=bridge] Docker bridge (default bridge docker0)"
  25     echo >&2 "  -d[port], --doc[=port]        Documentation server (default port 9898)"
  26     echo >&2 "  -w[port], --workbench[=port]  Workbench server (default port 9899)"
  27     echo >&2 "  -s[port], --sso[=port]        SSO server (default port 9901)"
  28     echo >&2 "  -a[port], --api[=port]        API server (default port 9900)"
  29     echo >&2 "  -c, --compute                 Compute nodes (starts 2)"
  30     echo >&2 "  -v, --vm                      Shell server"
  31     echo >&2 "  -n, --nameserver              Nameserver"
  32     echo >&2 "  -k, --keep                    Keep servers"
  33     echo >&2 "  -p, --keepproxy               Keepproxy server"
  34     echo >&2 "  -h, --help                    Display this help and exit"
  35     echo >&2
  36     echo >&2 "  If no options are given, the action is applied to all servers."
  37     echo >&2
  38     echo >&2 "$0 test [testname] [testname] ..."
  39     echo >&2 "  By default, all tests are run."
  40 }
  41
  42 function ip_address {
  43     local container=$1
  44     echo `$DOCKER inspect $container  |grep IPAddress |cut -f4 -d\"`
  45 }
  46
  47 function bridge_ip_address {
  48     local bridge_name=$1
  49     # FIXME: add a more robust check here.
  50     # because ip command could be mising, multiple docker birdges could be there.. etc.
  51     echo $(ip -oneline addr show  | grep $bridge_name | grep -E '\binet\b' | awk '{ print $4 }'| cut -d/ -f1 )
  52 }
  53
  54 function start_container {
  55     bridge_ip=$(bridge_ip_address "$start_bridge")
  56
  57     local args="-d -i -t"
  58     if [[ "$1" != '' ]]; then
  59       local port="$1"
  60       args="$args -p $port"
  61     fi
  62     if [[ "$2" != '' ]]; then
  63       local name="$2"
  64       if [[ "$name" == "api_server" ]]; then
  65         args="$args --dns=$bridge_ip --dns-search=compute.dev.arvados --hostname api -P --name $name"
  66       elif [[ "$name" == "compute" ]]; then
  67         name=$name$COMPUTE_COUNTER
  68         # We need --privileged because we run docker-inside-docker on the compute nodes
  69         args="$args --dns=$bridge_ip --dns-search=compute.dev.arvados --hostname compute$COMPUTE_COUNTER -P --privileged --name $name"
  70         let COMPUTE_COUNTER=$(($COMPUTE_COUNTER + 1))
  71       else
  72         args="$args --dns=$bridge_ip --dns-search=dev.arvados --hostname ${name#_server} --name $name"
  73       fi
  74     fi
  75     if [[ "$3" != '' ]]; then
  76       local volume="$3"
  77       args="$args --volumes-from $volume"
  78     fi
  79     if [[ "$4" != '' ]]; then
  80       local link="$4"
  81       args="$args --link $link"
  82     fi
  83     local image=$5
  84
  85     `$DOCKER ps |grep -E "\b$name\b" -q`
  86     if [[ "$?" == "0" ]]; then
  87       echo "You have a running container with name $name -- skipping."
  88       return
  89     fi
  90
  91     echo "Starting container: $name"
  92     `$DOCKER ps --all |grep -E "\b$name\b" -q`
  93     if [[ "$?" == "0" ]]; then
  94         echo "  $DOCKER start $name"
  95         container=`$DOCKER start $name`
  96     else
  97         echo "  $DOCKER run $args $image"
  98         container=`$DOCKER run $args $image`
  99     fi
 100
 101     if [ "$?" != "0" -o "$container" = "" ]; then
 102       echo "Unable to start container"
 103       exit 1
 104     else
 105       echo "Started container: $container"
 106     fi
 107
 108 }
 109
 110 # Create a Docker data volume
 111 function make_keep_volumes () {
 112     `$DOCKER ps --all |grep -E "\bkeep_data\b" -q`
 113     if [[ "$?" == "0" ]]; then
 114       return
 115     fi
 116     docker create -v /keep-data --name keep_data arvados/keep
 117 }
 118
 119 function do_start {
 120     local start_doc=false
 121     local start_sso=false
 122     local start_api=false
 123     local start_compute=false
 124     local start_workbench=false
 125     local start_vm=false
 126     local start_nameserver=false
 127     local start_keep=false
 128     local start_keepproxy=false
 129     local start_bridge="docker0"
 130     local
 131
 132     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 133     local TEMP=`getopt -o d::s::a::cw::nkpvh \
 134                   --long doc::,sso::,api::,bridge::,compute,workbench::,nameserver,keep,keepproxy,vm,help \
 135                   -n "$0" -- "$@"`
 136
 137     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 138
 139     # Note the quotes around `$TEMP': they are essential!
 140     eval set -- "$TEMP"
 141
 142     while [ $# -ge 1 ]
 143     do
 144         case $1 in
 145             -b | --bridge)
 146                 case "$2" in
 147                     "") start_bridge="docker0"; shift 2 ;;
 148                     *)  start_bridge=$2; shift 2 ;;
 149                 esac
 150                 ;;
 151             -d | --doc)
 152                 case "$2" in
 153                     "") start_doc=9898; shift 2 ;;
 154                     *)  start_doc=$2; shift 2 ;;
 155                 esac
 156                 ;;
 157             -s | --sso)
 158                 case "$2" in
 159                     "") start_sso=9901; shift 2 ;;
 160                     *)  start_sso=$2; shift 2 ;;
 161                 esac
 162                 ;;
 163             -a | --api)
 164                 case "$2" in
 165                     "") start_api=9900; shift 2 ;;
 166                     *)  start_api=$2; shift 2 ;;
 167                 esac
 168                 ;;
 169             -c | --compute)
 170                 start_compute=2
 171                 shift
 172                 ;;
 173             -w | --workbench)
 174                 case "$2" in
 175                     "") start_workbench=9899; shift 2 ;;
 176                     *)  start_workbench=$2; shift 2 ;;
 177                 esac
 178                 ;;
 179             -v | --vm)
 180                 start_vm=true
 181                 shift
 182                 ;;
 183             -n | --nameserver)
 184                 start_nameserver=true
 185                 shift
 186                 ;;
 187             -k | --keep)
 188                 start_keep=true
 189                 shift
 190                 ;;
 191             -p | --keepproxy)
 192                 start_keepproxy=true
 193                 shift
 194                 ;;
 195             --)
 196                 shift
 197                 break
 198                 ;;
 199             *)
 200                 usage
 201                 exit 1
 202                 ;;
 203         esac
 204     done
 205
 206     # If no options were selected, then start all servers.
 207     if [[ $start_doc == false &&
 208           $start_sso == false &&
 209           $start_api == false &&
 210           $start_compute == false &&
 211           $start_workbench == false &&
 212           $start_vm == false &&
 213           $start_nameserver == false &&
 214           $start_keep == false &&
 215           $start_keepproxy == false ]]
 216     then
 217         start_bridge="docker0"
 218         start_doc=9898
 219         #the sso server is currently not used by default so don't start it unless explicitly requested
 220         #start_sso=9901
 221         start_api=9900
 222         start_compute=2
 223         start_workbench=9899
 224         start_vm=true
 225         start_nameserver=true
 226         start_keep=true
 227         start_keepproxy=true
 228     fi
 229
 230     if [[ $start_nameserver != false ]]
 231     then
 232       # We rely on skydock and skydns for dns discovery between the slurm controller and compute nodes,
 233       # so make sure they are running
 234       $DOCKER ps | grep skydns >/dev/null
 235       if [[ "$?" != "0" ]]; then
 236         echo "Detecting bridge '$start_bridge' IP for crosbymichael/skydns"
 237         bridge_ip=$(bridge_ip_address "$start_bridge")
 238
 239         echo "Starting crosbymichael/skydns container..."
 240         $DOCKER rm "skydns" 2>/dev/null
 241         echo $DOCKER run -d -p $bridge_ip:53:53/udp --name skydns crosbymichael/skydns -nameserver 8.8.8.8:53 -domain arvados
 242         $DOCKER run -d -p $bridge_ip:53:53/udp --name skydns crosbymichael/skydns -nameserver 8.8.8.8:53 -domain arvados
 243       fi
 244       $DOCKER ps | grep skydock >/dev/null
 245       if [[ "$?" != "0" ]]; then
 246         echo "Starting crosbymichael/skydock container..."
 247         $DOCKER rm "skydock" 2>/dev/null
 248         echo $DOCKER run -d -v /var/run/docker.sock:/docker.sock --name skydock crosbymichael/skydock -ttl 30 -environment dev -s /docker.sock -domain arvados -name skydns
 249         $DOCKER run -d -v /var/run/docker.sock:/docker.sock --name skydock crosbymichael/skydock -ttl 30 -environment dev -s /docker.sock -domain arvados -name skydns
 250       fi
 251     fi
 252
 253     if [[ $start_sso != false ]]
 254     then
 255         start_container "$start_sso:443" "sso_server" '' '' "arvados/sso"
 256     fi
 257
 258     if [[ $start_api != false ]]
 259     then
 260       if [[ $start_sso != false ]]; then
 261         start_container "$start_api:443" "api_server" '' "sso_server:sso" "arvados/api"
 262       else
 263         start_container "$start_api:443" "api_server" '' '' "arvados/api"
 264       fi
 265     fi
 266
 267     if [[ $start_compute != false ]]
 268     then
 269         for i in `seq 0 $(($start_compute - 1))`; do
 270           start_container "" "compute" '' "api_server:api" "arvados/compute"
 271         done
 272     fi
 273
 274     if [[ $start_keep != false ]]
 275     then
 276         # create `keep_volumes' array with a list of keep mount points
 277         # remove any stale metadata from those volumes before starting them
 278         make_keep_volumes
 279         start_container "25107:25107" "keep_server_0" \
 280             "keep_data" \
 281             "api_server:api" \
 282             "arvados/keep"
 283         start_container "25108:25107" "keep_server_1" \
 284             "keep_data" \
 285             "api_server:api" \
 286             "arvados/keep"
 287     fi
 288
 289     if [[ $start_keepproxy != false ]]
 290     then
 291         start_container "9902:9100" "keepproxy_server" '' \
 292             "api_server:api" \
 293             "arvados/keepproxy"
 294     fi
 295
 296     if [[ $start_doc != false ]]
 297     then
 298         start_container "$start_doc:80" "doc_server" '' '' "arvados/doc"
 299     fi
 300
 301     if [[ $start_vm != false ]]
 302     then
 303         start_container "" "shell" '' "api_server:api" "arvados/shell"
 304     fi
 305
 306     if [[ $start_workbench != false ]]
 307     then
 308         start_container "$start_workbench:80" "workbench_server" '' "api_server:api" "arvados/workbench"
 309     fi
 310
 311     if [[ $start_api != false ]]
 312     then
 313         if [[ -f "api/generated/superuser_token" ]]
 314         then
 315           if [ -d $HOME/.config/arvados ] || mkdir -p $HOME/.config/arvados
 316           then
 317             cat >$HOME/.config/arvados/settings.conf <<EOF
 318 ARVADOS_API_HOST=$(ip_address "api_server")
 319 ARVADOS_API_HOST_INSECURE=yes
 320 ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 321 EOF
 322           fi
 323         fi
 324     fi
 325
 326     if [ "$(awk '($1 == "nameserver"){print $2; exit}' </etc/resolv.conf)" != "$bridge_ip" ]; then
 327         echo
 328         echo "******************************************************************"
 329         echo "To access Arvados you must add the Arvados nameserver to the top"
 330         echo "of your DNS configuration in /etc/resolv.conf:"
 331         echo "nameserver $bridge_ip"
 332         echo
 333         echo "Then run '$0 start' again"
 334         echo "******************************************************************"
 335         echo
 336     else
 337         while ! $CURL -L -f http://workbench.dev.arvados >/dev/null 2>/dev/null ; do
 338             echo "Waiting for Arvados to be ready."
 339             sleep 1
 340         done
 341
 342         `$DOCKER ps |grep -E "\bdoc_server\b" -q`
 343         if [[ "$?" == "0" ]]; then
 344             echo
 345             echo "******************************************************************"
 346             echo "You can access the Arvados documentation at http://doc.dev.arvados"
 347             echo "******************************************************************"
 348             echo
 349         fi
 350
 351         `$DOCKER ps |grep -E "\bworkbench_server\b" -q`
 352         if [[ "$?" == "0" ]]; then
 353             echo
 354             echo "********************************************************************"
 355             echo "You can access the Arvados workbench at http://workbench.dev.arvados"
 356             echo "********************************************************************"
 357             echo
 358         fi
 359     fi
 360
 361 }
 362
 363 function do_stop {
 364     local stop_doc=""
 365     local stop_sso=""
 366     local stop_api=""
 367     local stop_compute=""
 368     local stop_workbench=""
 369     local stop_nameserver=""
 370     local stop_vm=""
 371     local stop_keep=""
 372     local stop_keepproxy=""
 373
 374     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 375     local TEMP=`getopt -o dsacwnkpvh \
 376                   --long doc,sso,api,compute,workbench,nameserver,keep,keepproxy,vm,help \
 377                   -n "$0" -- "$@"`
 378
 379     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 380
 381     # Note the quotes around `$TEMP': they are essential!
 382     eval set -- "$TEMP"
 383
 384     while [ $# -ge 1 ]
 385     do
 386         case $1 in
 387             -d | --doc)
 388                 stop_doc=doc_server ; shift ;;
 389             -s | --sso)
 390                 stop_sso=sso_server ; shift ;;
 391             -a | --api)
 392                 stop_api=api_server ; shift ;;
 393             -c | --compute)
 394                 stop_compute=`$DOCKER ps |grep -E "\bcompute[0-9]+\b" |grep -v api_server |cut -f1 -d ' '` ; shift ;;
 395             -w | --workbench)
 396                 stop_workbench=workbench_server ; shift ;;
 397             -n | --nameserver )
 398                 stop_nameserver="skydock skydns" ; shift ;;
 399             -v | --vm )
 400                 stop_vm="shell" ; shift ;;
 401             -k | --keep )
 402                 stop_keep="keep_server_0 keep_server_1" ; shift ;;
 403             -p | --keepproxy )
 404                 stop_keep="keepproxy_server" ; shift ;;
 405             --)
 406                 shift
 407                 break
 408                 ;;
 409             *)
 410                 usage
 411                 exit 1
 412                 ;;
 413         esac
 414     done
 415
 416     # If no options were selected, then stop all servers.
 417     if [[ $stop_doc == "" &&
 418           $stop_sso == "" &&
 419           $stop_api == "" &&
 420           $stop_compute == "" &&
 421           $stop_workbench == "" &&
 422           $stop_vm == "" &&
 423           $stop_nameserver == "" &&
 424           $stop_keep == "" &&
 425           $stop_keepproxy == "" ]]
 426     then
 427         stop_doc=doc_server
 428         stop_sso=sso_server
 429         stop_api=api_server
 430         stop_compute=`$DOCKER ps |grep -E "\bcompute[0-9]+\b" |grep -v api_server |cut -f1 -d ' '`
 431         stop_workbench=workbench_server
 432         stop_vm=shell
 433         stop_nameserver="skydock skydns"
 434         stop_keep="keep_server_0 keep_server_1"
 435         stop_keepproxy="keepproxy_server"
 436     fi
 437
 438     $DOCKER stop $stop_doc $stop_sso $stop_api $stop_compute $stop_workbench $stop_nameserver $stop_keep $stop_keepproxy $stop_vm \
 439         2>/dev/null
 440 }
 441
 442 function do_test {
 443     local alltests
 444     if [ $# -lt 1 ]
 445     then
 446         alltests="python-sdk api"
 447     else
 448         alltests="$@"
 449     fi
 450
 451     for testname in $alltests
 452     do
 453         echo "testing $testname..."
 454         case $testname in
 455             python-sdk)
 456                 do_start --api --keep --sso
 457                 export ARVADOS_API_HOST=$(ip_address "api_server")
 458                 export ARVADOS_API_HOST_INSECURE=yes
 459                 export ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 460                 python -m unittest discover ../sdk/python
 461                 ;;
 462             api)
 463                 $DOCKER run -t -i arvados/api \
 464                     /usr/src/arvados/services/api/script/rake_test.sh
 465                 ;;
 466             *)
 467                 echo >&2 "unknown test $testname"
 468                 ;;
 469         esac
 470     done
 471 }
 472
 473 function do_reset {
 474     for name in skydock skydns workbench_server shell doc_server keepproxy_server keep_server_0 keep_server_1 compute0 compute1 api_server keepproxy keep_data
 475     do
 476         `$DOCKER ps |grep -E "\b$name\b" -q`
 477         if [[ "$?" == "0" ]]; then
 478             echo "  $DOCKER stop $name"
 479             $DOCKER stop $name
 480         fi
 481         `$DOCKER ps --all |grep -E "\b$name\b" -q`
 482         if [[ "$?" == "0" ]]; then
 483             echo "  $DOCKER rm $name"
 484             $DOCKER rm $name
 485         fi
 486     done
 487 }
 488
 489 if [ "$DOCKER" == '' ]
 490 then
 491   echo "Docker not found. Please install it first."
 492   exit 2
 493 fi
 494
 495 if [ "$CURL" == '' ]
 496 then
 497   echo "Curl not found. Please install it first."
 498   exit 3
 499 fi
 500
 501 if [ $# -lt 1 ]
 502 then
 503   usage
 504   exit 1
 505 fi
 506
 507 case $1 in
 508     start)
 509         shift
 510         do_start $@
 511         ;;
 512     stop)
 513         shift
 514         do_stop $@
 515         ;;
 516     restart)
 517         shift
 518         do_stop $@
 519         do_start $@
 520         ;;
 521     test)
 522         shift
 523         do_test $@
 524         ;;
 525     reset)
 526         shift
 527         do_reset $@
 528         ;;
 529     *)
 530         usage
 531         exit 1
 532         ;;
 533 esac