docker/arvdock

   1 #!/bin/bash
   2
   3 DOCKER=`which docker.io`
   4
   5 if [[ "$DOCKER" == "" ]]; then
   6     DOCKER=`which docker`
   7 fi
   8
   9 COMPUTE_COUNTER=0
  10
  11 function usage {
  12     echo >&2
  13     echo >&2 "usage: $0 (start|stop|restart|reset|test) [options]"
  14     echo >&2
  15     echo >&2 "start    run new or restart stopped arvados containers"
  16     echo >&2 "stop     stop arvados containers"
  17     echo >&2 "restart  stop and then start arvados containers"
  18     echo >&2 "reset    stop and delete containers WARNING: this will delete the data inside Arvados!"
  19     echo >&2 "test     run tests"
  20     echo >&2
  21     echo >&2 "$0 options:"
  22     echo >&2 "  -d[port], --doc[=port]        Documentation server (default port 9898)"
  23     echo >&2 "  -w[port], --workbench[=port]  Workbench server (default port 9899)"
  24     echo >&2 "  -s[port], --sso[=port]        SSO server (default port 9901)"
  25     echo >&2 "  -a[port], --api[=port]        API server (default port 9900)"
  26     echo >&2 "  -c, --compute                 Compute nodes (starts 2)"
  27     echo >&2 "  -v, --vm                      Shell server"
  28     echo >&2 "  -n, --nameserver              Nameserver"
  29     echo >&2 "  -k, --keep                    Keep servers"
  30     echo >&2 "  -p, --keepproxy               Keepproxy server"
  31     echo >&2 "  -h, --help                    Display this help and exit"
  32     echo >&2
  33     echo >&2 "  If no options are given, the action is applied to all servers."
  34     echo >&2
  35     echo >&2 "$0 test [testname] [testname] ..."
  36     echo >&2 "  By default, all tests are run."
  37 }
  38
  39 function ip_address {
  40     local container=$1
  41     echo `$DOCKER inspect $container  |grep IPAddress |cut -f4 -d\"`
  42 }
  43
  44 function start_container {
  45     local args="-d -i -t"
  46     if [[ "$1" != '' ]]; then
  47       local port="$1"
  48       args="$args -p $port"
  49     fi
  50     if [[ "$2" != '' ]]; then
  51       local name="$2"
  52       if [[ "$name" == "api_server" ]]; then
  53         args="$args --dns=172.17.42.1 --dns-search=compute.dev.arvados --hostname api -P --name $name"
  54       elif [[ "$name" == "compute" ]]; then
  55         name=$name$COMPUTE_COUNTER
  56         # We need --privileged because we run docker-inside-docker on the compute nodes
  57         args="$args --dns=172.17.42.1 --dns-search=compute.dev.arvados --hostname compute$COMPUTE_COUNTER -P --privileged --name $name"
  58         let COMPUTE_COUNTER=$(($COMPUTE_COUNTER + 1))
  59       else
  60         args="$args --dns=172.17.42.1 --dns-search=dev.arvados --hostname ${name#_server} --name $name"
  61       fi
  62     fi
  63     if [[ "$3" != '' ]]; then
  64       local volume="$3"
  65       args="$args --volumes-from $volume"
  66     fi
  67     if [[ "$4" != '' ]]; then
  68       local link="$4"
  69       args="$args --link $link"
  70     fi
  71     local image=$5
  72
  73     `$DOCKER ps |grep -P "$name[^/]" -q`
  74     if [[ "$?" == "0" ]]; then
  75       echo "You have a running container with name $name -- skipping."
  76       return
  77     fi
  78
  79     echo "Starting container: $name"
  80     `$DOCKER ps --all |grep -P "$name[^/]" -q`
  81     if [[ "$?" == "0" ]]; then
  82         echo "  $DOCKER start $name"
  83         container=`$DOCKER start $name`
  84     else
  85         echo "  $DOCKER run $args $image"
  86         container=`$DOCKER run $args $image`
  87     fi
  88
  89     if [ "$?" != "0" -o "$container" = "" ]; then
  90       echo "Unable to start container"
  91       exit 1
  92     else
  93       echo "Started container: $container"
  94     fi
  95
  96     if [[ "$name" == "doc_server" ]]; then
  97       echo
  98       echo "******************************************************************"
  99       echo "You can access the Arvados documentation at http://doc.dev.arvados"
 100       echo "******************************************************************"
 101       echo
 102     fi
 103
 104     if [[ "$name" == "workbench_server" ]]; then
 105       echo
 106       echo "********************************************************************"
 107       echo "You can access the Arvados workbench at http://workbench.dev.arvados"
 108       echo "********************************************************************"
 109       echo
 110    fi
 111
 112
 113 }
 114
 115 # Create a Docker data volume
 116 function make_keep_volumes () {
 117     `$DOCKER ps --all |grep -P "keep_data[^/]" -q`
 118     if [[ "$?" == "0" ]]; then
 119       return
 120     fi
 121     docker create -v /keep-data --name keep_data arvados/keep
 122 }
 123
 124 function do_start {
 125     local start_doc=false
 126     local start_sso=false
 127     local start_api=false
 128     local start_compute=false
 129     local start_workbench=false
 130     local start_vm=false
 131     local start_nameserver=false
 132     local start_keep=false
 133     local start_keepproxy=false
 134     local
 135
 136     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 137     local TEMP=`getopt -o d::s::a::cw::nkpvh \
 138                   --long doc::,sso::,api::,compute,workbench::,nameserver,keep,keepproxy,vm,help \
 139                   -n "$0" -- "$@"`
 140
 141     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 142
 143     # Note the quotes around `$TEMP': they are essential!
 144     eval set -- "$TEMP"
 145
 146     while [ $# -ge 1 ]
 147     do
 148         case $1 in
 149             -d | --doc)
 150                 case "$2" in
 151                     "") start_doc=9898; shift 2 ;;
 152                     *)  start_doc=$2; shift 2 ;;
 153                 esac
 154                 ;;
 155             -s | --sso)
 156                 case "$2" in
 157                     "") start_sso=9901; shift 2 ;;
 158                     *)  start_sso=$2; shift 2 ;;
 159                 esac
 160                 ;;
 161             -a | --api)
 162                 case "$2" in
 163                     "") start_api=9900; shift 2 ;;
 164                     *)  start_api=$2; shift 2 ;;
 165                 esac
 166                 ;;
 167             -c | --compute)
 168                 start_compute=2
 169                 shift
 170                 ;;
 171             -w | --workbench)
 172                 case "$2" in
 173                     "") start_workbench=9899; shift 2 ;;
 174                     *)  start_workbench=$2; shift 2 ;;
 175                 esac
 176                 ;;
 177             -v | --vm)
 178                 start_vm=true
 179                 shift
 180                 ;;
 181             -n | --nameserver)
 182                 start_nameserver=true
 183                 shift
 184                 ;;
 185             -k | --keep)
 186                 start_keep=true
 187                 shift
 188                 ;;
 189             -p | --keepproxy)
 190                 start_keepproxy=true
 191                 shift
 192                 ;;
 193             --)
 194                 shift
 195                 break
 196                 ;;
 197             *)
 198                 usage
 199                 exit 1
 200                 ;;
 201         esac
 202     done
 203
 204     # If no options were selected, then start all servers.
 205     if [[ $start_doc == false &&
 206           $start_sso == false &&
 207           $start_api == false &&
 208           $start_compute == false &&
 209           $start_workbench == false &&
 210           $start_vm == false &&
 211           $start_nameserver == false &&
 212           $start_keep == false &&
 213           $start_keepproxy == false ]]
 214     then
 215         start_doc=9898
 216         #the sso server is currently not used by default so don't start it unless explicitly requested
 217         #start_sso=9901
 218         start_api=9900
 219         start_compute=2
 220         start_workbench=9899
 221         start_vm=true
 222         start_nameserver=true
 223         start_keep=true
 224         start_keepproxy=true
 225     fi
 226
 227     if [[ $start_nameserver != false ]]
 228     then
 229       # We rely on skydock and skydns for dns discovery between the slurm controller and compute nodes,
 230       # so make sure they are running
 231       $DOCKER ps | grep skydns >/dev/null
 232       if [[ "$?" != "0" ]]; then
 233         echo "Starting crosbymichael/skydns container..."
 234         $DOCKER rm "skydns" 2>/dev/null
 235         echo $DOCKER run -d -p 172.17.42.1:53:53/udp --name skydns crosbymichael/skydns -nameserver 8.8.8.8:53 -domain arvados
 236         $DOCKER run -d -p 172.17.42.1:53:53/udp --name skydns crosbymichael/skydns -nameserver 8.8.8.8:53 -domain arvados
 237       fi
 238       $DOCKER ps | grep skydock >/dev/null
 239       if [[ "$?" != "0" ]]; then
 240         echo "Starting crosbymichael/skydock container..."
 241         $DOCKER rm "skydock" 2>/dev/null
 242         echo $DOCKER run -d -v /var/run/docker.sock:/docker.sock --name skydock crosbymichael/skydock -ttl 30 -environment dev -s /docker.sock -domain arvados -name skydns
 243         $DOCKER run -d -v /var/run/docker.sock:/docker.sock --name skydock crosbymichael/skydock -ttl 30 -environment dev -s /docker.sock -domain arvados -name skydns
 244       fi
 245     fi
 246
 247     if [[ $start_sso != false ]]
 248     then
 249         start_container "$start_sso:443" "sso_server" '' '' "arvados/sso"
 250     fi
 251
 252     if [[ $start_api != false ]]
 253     then
 254       if [[ $start_sso != false ]]; then
 255         start_container "$start_api:443" "api_server" '' "sso_server:sso" "arvados/api"
 256       else
 257         start_container "$start_api:443" "api_server" '' '' "arvados/api"
 258       fi
 259     fi
 260
 261     if [[ $start_compute != false ]]
 262     then
 263         for i in `seq 0 $(($start_compute - 1))`; do
 264           start_container "" "compute" '' "api_server:api" "arvados/compute"
 265         done
 266     fi
 267
 268     if [[ $start_keep != false ]]
 269     then
 270         # create `keep_volumes' array with a list of keep mount points
 271         # remove any stale metadata from those volumes before starting them
 272         make_keep_volumes
 273         start_container "25107:25107" "keep_server_0" \
 274             "keep_data" \
 275             "api_server:api" \
 276             "arvados/keep"
 277         start_container "25108:25107" "keep_server_1" \
 278             "keep_data" \
 279             "api_server:api" \
 280             "arvados/keep"
 281     fi
 282
 283     if [[ $start_keepproxy != false ]]
 284     then
 285         start_container "9902:9100" "keepproxy_server" '' \
 286             "api_server:api" \
 287             "arvados/keepproxy"
 288     fi
 289
 290     if [[ $start_doc != false ]]
 291     then
 292         start_container "$start_doc:80" "doc_server" '' '' "arvados/doc"
 293     fi
 294
 295     if [[ $start_vm != false ]]
 296     then
 297         start_container "" "shell" '' "api_server:api" "arvados/shell"
 298     fi
 299
 300     if [[ $start_workbench != false ]]
 301     then
 302         start_container "$start_workbench:80" "workbench_server" '' "api_server:api" "arvados/workbench"
 303     fi
 304
 305     if [[ $start_api != false ]]
 306     then
 307         if [[ -f "api/generated/superuser_token" ]]
 308         then
 309           if [ -d $HOME/.config/arvados ] || mkdir -p $HOME/.config/arvados
 310           then
 311             cat >$HOME/.config/arvados/settings.conf <<EOF
 312 ARVADOS_API_HOST=$(ip_address "api_server")
 313 ARVADOS_API_HOST_INSECURE=yes
 314 ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 315 EOF
 316           fi
 317         fi
 318     fi
 319
 320     `cat /etc/resolv.conf |grep -P "nameserver 172\.17\.42\.1" -q`
 321     if [[ "$?" == "1" ]]; then
 322         echo
 323         echo "******************************************************************"
 324         echo "To access Arvados you must add the Arvados nameserver to the top"
 325         echo "of your DNS configuration in /etc/resolv.conf:"
 326         echo "nameserver 172.17.42.1"
 327         echo "******************************************************************"
 328         echo
 329     fi
 330 }
 331
 332 function do_stop {
 333     local stop_doc=""
 334     local stop_sso=""
 335     local stop_api=""
 336     local stop_compute=""
 337     local stop_workbench=""
 338     local stop_nameserver=""
 339     local stop_vm=""
 340     local stop_keep=""
 341     local stop_keepproxy=""
 342
 343     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 344     local TEMP=`getopt -o dsacwnkpvh \
 345                   --long doc,sso,api,compute,workbench,nameserver,keep,keepproxy,vm,help \
 346                   -n "$0" -- "$@"`
 347
 348     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 349
 350     # Note the quotes around `$TEMP': they are essential!
 351     eval set -- "$TEMP"
 352
 353     while [ $# -ge 1 ]
 354     do
 355         case $1 in
 356             -d | --doc)
 357                 stop_doc=doc_server ; shift ;;
 358             -s | --sso)
 359                 stop_sso=sso_server ; shift ;;
 360             -a | --api)
 361                 stop_api=api_server ; shift ;;
 362             -c | --compute)
 363                 stop_compute=`$DOCKER ps |grep -P "compute\d+" |grep -v api_server |cut -f1 -d ' '` ; shift ;;
 364             -w | --workbench)
 365                 stop_workbench=workbench_server ; shift ;;
 366             -n | --nameserver )
 367                 stop_nameserver="skydock skydns" ; shift ;;
 368             -v | --vm )
 369                 stop_vm="shell" ; shift ;;
 370             -k | --keep )
 371                 stop_keep="keep_server_0 keep_server_1" ; shift ;;
 372             -p | --keepproxy )
 373                 stop_keep="keepproxy_server" ; shift ;;
 374             --)
 375                 shift
 376                 break
 377                 ;;
 378             *)
 379                 usage
 380                 exit 1
 381                 ;;
 382         esac
 383     done
 384
 385     # If no options were selected, then stop all servers.
 386     if [[ $stop_doc == "" &&
 387           $stop_sso == "" &&
 388           $stop_api == "" &&
 389           $stop_compute == "" &&
 390           $stop_workbench == "" &&
 391           $stop_vm == "" &&
 392           $stop_nameserver == "" &&
 393           $stop_keep == "" &&
 394           $stop_keepproxy == "" ]]
 395     then
 396         stop_doc=doc_server
 397         stop_sso=sso_server
 398         stop_api=api_server
 399         stop_compute=`$DOCKER ps |grep -P "compute\d+" |grep -v api_server |cut -f1 -d ' '`
 400         stop_workbench=workbench_server
 401         stop_vm=shell
 402         stop_nameserver="skydock skydns"
 403         stop_keep="keep_server_0 keep_server_1"
 404         stop_keepproxy="keepproxy_server"
 405     fi
 406
 407     $DOCKER stop $stop_doc $stop_sso $stop_api $stop_compute $stop_workbench $stop_nameserver $stop_keep $stop_keepproxy $stop_vm \
 408         2>/dev/null
 409 }
 410
 411 function do_test {
 412     local alltests
 413     if [ $# -lt 1 ]
 414     then
 415         alltests="python-sdk api"
 416     else
 417         alltests="$@"
 418     fi
 419
 420     for testname in $alltests
 421     do
 422         echo "testing $testname..."
 423         case $testname in
 424             python-sdk)
 425                 do_start --api --keep --sso
 426                 export ARVADOS_API_HOST=$(ip_address "api_server")
 427                 export ARVADOS_API_HOST_INSECURE=yes
 428                 export ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 429                 python -m unittest discover ../sdk/python
 430                 ;;
 431             api)
 432                 $DOCKER run -t -i arvados/api \
 433                     /usr/src/arvados/services/api/script/rake_test.sh
 434                 ;;
 435             *)
 436                 echo >&2 "unknown test $testname"
 437                 ;;
 438         esac
 439     done
 440 }
 441
 442 function do_reset {
 443     for name in skydock skydns workbench_server shell doc_server keepproxy_server keep_server_0 keep_server_1 compute0 compute1 api_server keepproxy keep_data
 444     do
 445         `$DOCKER ps |grep -P "$name[^/]" -q`
 446         if [[ "$?" == "0" ]]; then
 447             echo "  $DOCKER stop $name"
 448             $DOCKER stop $name
 449         fi
 450         `$DOCKER ps --all |grep -P "$name[^/]" -q`
 451         if [[ "$?" == "0" ]]; then
 452             echo "  $DOCKER rm $name"
 453             $DOCKER rm $name
 454         fi
 455     done
 456 }
 457
 458 if [ $# -lt 1 ]
 459 then
 460   usage
 461   exit 1
 462 fi
 463
 464 case $1 in
 465     start)
 466         shift
 467         do_start $@
 468         ;;
 469     stop)
 470         shift
 471         do_stop $@
 472         ;;
 473     restart)
 474         shift
 475         do_stop $@
 476         do_start $@
 477         ;;
 478     test)
 479         shift
 480         do_test $@
 481         ;;
 482     reset)
 483         shift
 484         do_reset $@
 485         ;;
 486     *)
 487         usage
 488         exit 1
 489         ;;
 490 esac