docker/arvdock

   1 #!/bin/bash
   2
   3 DOCKER=`which docker.io`
   4
   5 if [[ "$DOCKER" == "" ]]; then
   6     DOCKER=`which docker`
   7 fi
   8
   9 CURL=`which curl`
  10
  11 COMPUTE_COUNTER=0
  12
  13 function usage {
  14     echo >&2
  15     echo >&2 "usage: $0 (start|stop|restart|reset|test) [options]"
  16     echo >&2
  17     echo >&2 "start    run new or restart stopped arvados containers"
  18     echo >&2 "stop     stop arvados containers"
  19     echo >&2 "restart  stop and then start arvados containers"
  20     echo >&2 "reset    stop and delete containers WARNING: this will delete the data inside Arvados!"
  21     echo >&2 "test     run tests"
  22     echo >&2
  23     echo >&2 "$0 options:"
  24     echo >&2 "  -d[port], --doc[=port]        Documentation server (default port 9898)"
  25     echo >&2 "  -w[port], --workbench[=port]  Workbench server (default port 9899)"
  26     echo >&2 "  -s[port], --sso[=port]        SSO server (default port 9901)"
  27     echo >&2 "  -a[port], --api[=port]        API server (default port 9900)"
  28     echo >&2 "  -c, --compute                 Compute nodes (starts 2)"
  29     echo >&2 "  -v, --vm                      Shell server"
  30     echo >&2 "  -n, --nameserver              Nameserver"
  31     echo >&2 "  -k, --keep                    Keep servers"
  32     echo >&2 "  -p, --keepproxy               Keepproxy server"
  33     echo >&2 "  -h, --help                    Display this help and exit"
  34     echo >&2
  35     echo >&2 "  If no options are given, the action is applied to all servers."
  36     echo >&2
  37     echo >&2 "$0 test [testname] [testname] ..."
  38     echo >&2 "  By default, all tests are run."
  39 }
  40
  41 function ip_address {
  42     local container=$1
  43     echo `$DOCKER inspect $container  |grep IPAddress |cut -f4 -d\"`
  44 }
  45
  46 function start_container {
  47     local args="-d -i -t"
  48     if [[ "$1" != '' ]]; then
  49       local port="$1"
  50       args="$args -p $port"
  51     fi
  52     if [[ "$2" != '' ]]; then
  53       local name="$2"
  54       if [[ "$name" == "api_server" ]]; then
  55         args="$args --dns=172.17.42.1 --dns-search=compute.dev.arvados --hostname api -P --name $name"
  56       elif [[ "$name" == "compute" ]]; then
  57         name=$name$COMPUTE_COUNTER
  58         # We need --privileged because we run docker-inside-docker on the compute nodes
  59         args="$args --dns=172.17.42.1 --dns-search=compute.dev.arvados --hostname compute$COMPUTE_COUNTER -P --privileged --name $name"
  60         let COMPUTE_COUNTER=$(($COMPUTE_COUNTER + 1))
  61       else
  62         args="$args --dns=172.17.42.1 --dns-search=dev.arvados --hostname ${name#_server} --name $name"
  63       fi
  64     fi
  65     if [[ "$3" != '' ]]; then
  66       local volume="$3"
  67       args="$args --volumes-from $volume"
  68     fi
  69     if [[ "$4" != '' ]]; then
  70       local link="$4"
  71       args="$args --link $link"
  72     fi
  73     local image=$5
  74
  75     `$DOCKER ps |grep -P "$name[^/]" -q`
  76     if [[ "$?" == "0" ]]; then
  77       echo "You have a running container with name $name -- skipping."
  78       return
  79     fi
  80
  81     echo "Starting container: $name"
  82     `$DOCKER ps --all |grep -P "$name[^/]" -q`
  83     if [[ "$?" == "0" ]]; then
  84         echo "  $DOCKER start $name"
  85         container=`$DOCKER start $name`
  86     else
  87         echo "  $DOCKER run $args $image"
  88         container=`$DOCKER run $args $image`
  89     fi
  90
  91     if [ "$?" != "0" -o "$container" = "" ]; then
  92       echo "Unable to start container"
  93       exit 1
  94     else
  95       echo "Started container: $container"
  96     fi
  97
  98 }
  99
 100 # Create a Docker data volume
 101 function make_keep_volumes () {
 102     `$DOCKER ps --all |grep -P "keep_data[^/]" -q`
 103     if [[ "$?" == "0" ]]; then
 104       return
 105     fi
 106     docker create -v /keep-data --name keep_data arvados/keep
 107 }
 108
 109 function do_start {
 110     local start_doc=false
 111     local start_sso=false
 112     local start_api=false
 113     local start_compute=false
 114     local start_workbench=false
 115     local start_vm=false
 116     local start_nameserver=false
 117     local start_keep=false
 118     local start_keepproxy=false
 119     local
 120
 121     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 122     local TEMP=`getopt -o d::s::a::cw::nkpvh \
 123                   --long doc::,sso::,api::,compute,workbench::,nameserver,keep,keepproxy,vm,help \
 124                   -n "$0" -- "$@"`
 125
 126     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 127
 128     # Note the quotes around `$TEMP': they are essential!
 129     eval set -- "$TEMP"
 130
 131     while [ $# -ge 1 ]
 132     do
 133         case $1 in
 134             -d | --doc)
 135                 case "$2" in
 136                     "") start_doc=9898; shift 2 ;;
 137                     *)  start_doc=$2; shift 2 ;;
 138                 esac
 139                 ;;
 140             -s | --sso)
 141                 case "$2" in
 142                     "") start_sso=9901; shift 2 ;;
 143                     *)  start_sso=$2; shift 2 ;;
 144                 esac
 145                 ;;
 146             -a | --api)
 147                 case "$2" in
 148                     "") start_api=9900; shift 2 ;;
 149                     *)  start_api=$2; shift 2 ;;
 150                 esac
 151                 ;;
 152             -c | --compute)
 153                 start_compute=2
 154                 shift
 155                 ;;
 156             -w | --workbench)
 157                 case "$2" in
 158                     "") start_workbench=9899; shift 2 ;;
 159                     *)  start_workbench=$2; shift 2 ;;
 160                 esac
 161                 ;;
 162             -v | --vm)
 163                 start_vm=true
 164                 shift
 165                 ;;
 166             -n | --nameserver)
 167                 start_nameserver=true
 168                 shift
 169                 ;;
 170             -k | --keep)
 171                 start_keep=true
 172                 shift
 173                 ;;
 174             -p | --keepproxy)
 175                 start_keepproxy=true
 176                 shift
 177                 ;;
 178             --)
 179                 shift
 180                 break
 181                 ;;
 182             *)
 183                 usage
 184                 exit 1
 185                 ;;
 186         esac
 187     done
 188
 189     # If no options were selected, then start all servers.
 190     if [[ $start_doc == false &&
 191           $start_sso == false &&
 192           $start_api == false &&
 193           $start_compute == false &&
 194           $start_workbench == false &&
 195           $start_vm == false &&
 196           $start_nameserver == false &&
 197           $start_keep == false &&
 198           $start_keepproxy == false ]]
 199     then
 200         start_doc=9898
 201         #the sso server is currently not used by default so don't start it unless explicitly requested
 202         #start_sso=9901
 203         start_api=9900
 204         start_compute=2
 205         start_workbench=9899
 206         start_vm=true
 207         start_nameserver=true
 208         start_keep=true
 209         start_keepproxy=true
 210     fi
 211
 212     if [[ $start_nameserver != false ]]
 213     then
 214       # We rely on skydock and skydns for dns discovery between the slurm controller and compute nodes,
 215       # so make sure they are running
 216       $DOCKER ps | grep skydns >/dev/null
 217       if [[ "$?" != "0" ]]; then
 218         echo "Starting crosbymichael/skydns container..."
 219         $DOCKER rm "skydns" 2>/dev/null
 220         echo $DOCKER run -d -p 172.17.42.1:53:53/udp --name skydns crosbymichael/skydns -nameserver 8.8.8.8:53 -domain arvados
 221         $DOCKER run -d -p 172.17.42.1:53:53/udp --name skydns crosbymichael/skydns -nameserver 8.8.8.8:53 -domain arvados
 222       fi
 223       $DOCKER ps | grep skydock >/dev/null
 224       if [[ "$?" != "0" ]]; then
 225         echo "Starting crosbymichael/skydock container..."
 226         $DOCKER rm "skydock" 2>/dev/null
 227         echo $DOCKER run -d -v /var/run/docker.sock:/docker.sock --name skydock crosbymichael/skydock -ttl 30 -environment dev -s /docker.sock -domain arvados -name skydns
 228         $DOCKER run -d -v /var/run/docker.sock:/docker.sock --name skydock crosbymichael/skydock -ttl 30 -environment dev -s /docker.sock -domain arvados -name skydns
 229       fi
 230     fi
 231
 232     if [[ $start_sso != false ]]
 233     then
 234         start_container "$start_sso:443" "sso_server" '' '' "arvados/sso"
 235     fi
 236
 237     if [[ $start_api != false ]]
 238     then
 239       if [[ $start_sso != false ]]; then
 240         start_container "$start_api:443" "api_server" '' "sso_server:sso" "arvados/api"
 241       else
 242         start_container "$start_api:443" "api_server" '' '' "arvados/api"
 243       fi
 244     fi
 245
 246     if [[ $start_compute != false ]]
 247     then
 248         for i in `seq 0 $(($start_compute - 1))`; do
 249           start_container "" "compute" '' "api_server:api" "arvados/compute"
 250         done
 251     fi
 252
 253     if [[ $start_keep != false ]]
 254     then
 255         # create `keep_volumes' array with a list of keep mount points
 256         # remove any stale metadata from those volumes before starting them
 257         make_keep_volumes
 258         start_container "25107:25107" "keep_server_0" \
 259             "keep_data" \
 260             "api_server:api" \
 261             "arvados/keep"
 262         start_container "25108:25107" "keep_server_1" \
 263             "keep_data" \
 264             "api_server:api" \
 265             "arvados/keep"
 266     fi
 267
 268     if [[ $start_keepproxy != false ]]
 269     then
 270         start_container "9902:9100" "keepproxy_server" '' \
 271             "api_server:api" \
 272             "arvados/keepproxy"
 273     fi
 274
 275     if [[ $start_doc != false ]]
 276     then
 277         start_container "$start_doc:80" "doc_server" '' '' "arvados/doc"
 278     fi
 279
 280     if [[ $start_vm != false ]]
 281     then
 282         start_container "" "shell" '' "api_server:api" "arvados/shell"
 283     fi
 284
 285     if [[ $start_workbench != false ]]
 286     then
 287         start_container "$start_workbench:80" "workbench_server" '' "api_server:api" "arvados/workbench"
 288     fi
 289
 290     if [[ $start_api != false ]]
 291     then
 292         if [[ -f "api/generated/superuser_token" ]]
 293         then
 294           if [ -d $HOME/.config/arvados ] || mkdir -p $HOME/.config/arvados
 295           then
 296             cat >$HOME/.config/arvados/settings.conf <<EOF
 297 ARVADOS_API_HOST=$(ip_address "api_server")
 298 ARVADOS_API_HOST_INSECURE=yes
 299 ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 300 EOF
 301           fi
 302         fi
 303     fi
 304
 305     `cat /etc/resolv.conf |grep -P "nameserver 172\.17\.42\.1" -q`
 306     if [[ "$?" == "1" ]]; then
 307         echo
 308         echo "******************************************************************"
 309         echo "To access Arvados you must add the Arvados nameserver to the top"
 310         echo "of your DNS configuration in /etc/resolv.conf:"
 311         echo "nameserver 172.17.42.1"
 312         echo
 313         echo "Then run '$0 start' again"
 314         echo "******************************************************************"
 315         echo
 316     else
 317         while ! $CURL -L -f http://workbench.dev.arvados >/dev/null 2>/dev/null ; do
 318             echo "Waiting for Arvados to be ready."
 319             sleep 1
 320         done
 321
 322         `$DOCKER ps |grep -P "doc_server[^/]" -q`
 323         if [[ "$?" == "0" ]]; then
 324             echo
 325             echo "******************************************************************"
 326             echo "You can access the Arvados documentation at http://doc.dev.arvados"
 327             echo "******************************************************************"
 328             echo
 329         fi
 330
 331         `$DOCKER ps |grep -P "workbench_server[^/]" -q`
 332         if [[ "$?" == "0" ]]; then
 333             echo
 334             echo "********************************************************************"
 335             echo "You can access the Arvados workbench at http://workbench.dev.arvados"
 336             echo "********************************************************************"
 337             echo
 338         fi
 339     fi
 340
 341 }
 342
 343 function do_stop {
 344     local stop_doc=""
 345     local stop_sso=""
 346     local stop_api=""
 347     local stop_compute=""
 348     local stop_workbench=""
 349     local stop_nameserver=""
 350     local stop_vm=""
 351     local stop_keep=""
 352     local stop_keepproxy=""
 353
 354     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 355     local TEMP=`getopt -o dsacwnkpvh \
 356                   --long doc,sso,api,compute,workbench,nameserver,keep,keepproxy,vm,help \
 357                   -n "$0" -- "$@"`
 358
 359     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 360
 361     # Note the quotes around `$TEMP': they are essential!
 362     eval set -- "$TEMP"
 363
 364     while [ $# -ge 1 ]
 365     do
 366         case $1 in
 367             -d | --doc)
 368                 stop_doc=doc_server ; shift ;;
 369             -s | --sso)
 370                 stop_sso=sso_server ; shift ;;
 371             -a | --api)
 372                 stop_api=api_server ; shift ;;
 373             -c | --compute)
 374                 stop_compute=`$DOCKER ps |grep -P "compute\d+" |grep -v api_server |cut -f1 -d ' '` ; shift ;;
 375             -w | --workbench)
 376                 stop_workbench=workbench_server ; shift ;;
 377             -n | --nameserver )
 378                 stop_nameserver="skydock skydns" ; shift ;;
 379             -v | --vm )
 380                 stop_vm="shell" ; shift ;;
 381             -k | --keep )
 382                 stop_keep="keep_server_0 keep_server_1" ; shift ;;
 383             -p | --keepproxy )
 384                 stop_keep="keepproxy_server" ; shift ;;
 385             --)
 386                 shift
 387                 break
 388                 ;;
 389             *)
 390                 usage
 391                 exit 1
 392                 ;;
 393         esac
 394     done
 395
 396     # If no options were selected, then stop all servers.
 397     if [[ $stop_doc == "" &&
 398           $stop_sso == "" &&
 399           $stop_api == "" &&
 400           $stop_compute == "" &&
 401           $stop_workbench == "" &&
 402           $stop_vm == "" &&
 403           $stop_nameserver == "" &&
 404           $stop_keep == "" &&
 405           $stop_keepproxy == "" ]]
 406     then
 407         stop_doc=doc_server
 408         stop_sso=sso_server
 409         stop_api=api_server
 410         stop_compute=`$DOCKER ps |grep -P "compute\d+" |grep -v api_server |cut -f1 -d ' '`
 411         stop_workbench=workbench_server
 412         stop_vm=shell
 413         stop_nameserver="skydock skydns"
 414         stop_keep="keep_server_0 keep_server_1"
 415         stop_keepproxy="keepproxy_server"
 416     fi
 417
 418     $DOCKER stop $stop_doc $stop_sso $stop_api $stop_compute $stop_workbench $stop_nameserver $stop_keep $stop_keepproxy $stop_vm \
 419         2>/dev/null
 420 }
 421
 422 function do_test {
 423     local alltests
 424     if [ $# -lt 1 ]
 425     then
 426         alltests="python-sdk api"
 427     else
 428         alltests="$@"
 429     fi
 430
 431     for testname in $alltests
 432     do
 433         echo "testing $testname..."
 434         case $testname in
 435             python-sdk)
 436                 do_start --api --keep --sso
 437                 export ARVADOS_API_HOST=$(ip_address "api_server")
 438                 export ARVADOS_API_HOST_INSECURE=yes
 439                 export ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 440                 python -m unittest discover ../sdk/python
 441                 ;;
 442             api)
 443                 $DOCKER run -t -i arvados/api \
 444                     /usr/src/arvados/services/api/script/rake_test.sh
 445                 ;;
 446             *)
 447                 echo >&2 "unknown test $testname"
 448                 ;;
 449         esac
 450     done
 451 }
 452
 453 function do_reset {
 454     for name in skydock skydns workbench_server shell doc_server keepproxy_server keep_server_0 keep_server_1 compute0 compute1 api_server keepproxy keep_data
 455     do
 456         `$DOCKER ps |grep -P "$name[^/]" -q`
 457         if [[ "$?" == "0" ]]; then
 458             echo "  $DOCKER stop $name"
 459             $DOCKER stop $name
 460         fi
 461         `$DOCKER ps --all |grep -P "$name[^/]" -q`
 462         if [[ "$?" == "0" ]]; then
 463             echo "  $DOCKER rm $name"
 464             $DOCKER rm $name
 465         fi
 466     done
 467 }
 468
 469 if [ "$DOCKER" == '' ]
 470 then
 471   echo "Docker not found. Please install it first."
 472   exit 2
 473 fi
 474
 475 if [ "$CURL" == '' ]
 476 then
 477   echo "Curl not found. Please install it first."
 478   exit 3
 479 fi
 480
 481 if [ $# -lt 1 ]
 482 then
 483   usage
 484   exit 1
 485 fi
 486
 487 case $1 in
 488     start)
 489         shift
 490         do_start $@
 491         ;;
 492     stop)
 493         shift
 494         do_stop $@
 495         ;;
 496     restart)
 497         shift
 498         do_stop $@
 499         do_start $@
 500         ;;
 501     test)
 502         shift
 503         do_test $@
 504         ;;
 505     reset)
 506         shift
 507         do_reset $@
 508         ;;
 509     *)
 510         usage
 511         exit 1
 512         ;;
 513 esac