docker/arvdock

   1 #!/bin/bash
   2
   3 ENABLE_SSH=false
   4 DOCKER=`which docker.io`
   5
   6 if [[ "$DOCKER" == "" ]]; then
   7     DOCKER=`which docker`
   8 fi
   9
  10 COMPUTE_COUNTER=0
  11
  12 function usage {
  13     echo >&2
  14     echo >&2 "usage: $0 (start|stop|restart|test) [options]"
  15     echo >&2
  16     echo >&2 "$0 start/stop/restart options:"
  17     echo >&2 "  -d[port], --doc[=port]        Documentation server (default port 9898)"
  18     echo >&2 "  -w[port], --workbench[=port]  Workbench server (default port 9899)"
  19     echo >&2 "  -s[port], --sso[=port]        SSO server (default port 9901)"
  20     echo >&2 "  -a[port], --api[=port]        API server (default port 9900)"
  21     echo >&2 "  -c[count], --compute[=count]  Compute nodes (default starts 2)"
  22     echo >&2 "  -v, --vm                      Shell server"
  23     echo >&2 "  -n, --nameserver              Nameserver"
  24     echo >&2 "  -k, --keep                    Keep servers"
  25     echo >&2 "  --ssh                         Enable SSH access to server containers"
  26     echo >&2 "  -h, --help                    Display this help and exit"
  27     echo >&2
  28     echo >&2 "  If no options are given, the action is applied to all servers."
  29     echo >&2
  30     echo >&2 "$0 test [testname] [testname] ..."
  31     echo >&2 "  By default, all tests are run."
  32 }
  33
  34 function ip_address {
  35     local container=$1
  36     echo `$DOCKER inspect $container  |grep IPAddress |cut -f4 -d\"`
  37 }
  38
  39 function start_container {
  40     local args="-d -i -t"
  41     if [[ "$1" != '' ]]; then
  42       local port="$1"
  43       args="$args -p $port"
  44     fi
  45     if [[ "$2" != '' ]]; then
  46       local name="$2"
  47       if [[ "$name" == "api_server" ]]; then
  48         args="$args --dns=172.17.42.1 --dns-search=compute.dev.arvados --hostname api -P --name $name"
  49       elif [[ "$name" == "compute" ]]; then
  50         name=$name$COMPUTE_COUNTER
  51         # We need --privileged because we run docker-inside-docker on the compute nodes
  52         args="$args --dns=172.17.42.1 --dns-search=compute.dev.arvados --hostname compute$COMPUTE_COUNTER -P --privileged --name $name"
  53         let COMPUTE_COUNTER=$(($COMPUTE_COUNTER + 1))
  54       else
  55         args="$args --dns=172.17.42.1 --dns-search=dev.arvados --hostname ${name#_server} --name $name"
  56       fi
  57     fi
  58     if [[ "$3" != '' ]]; then
  59       local volume="$3"
  60       args="$args -v $volume"
  61     fi
  62     if [[ "$4" != '' ]]; then
  63       local link="$4"
  64       args="$args --link $link"
  65     fi
  66     local image=$5
  67
  68     if $ENABLE_SSH
  69     then
  70       args="$args -e ENABLE_SSH=$ENABLE_SSH"
  71     fi
  72
  73     `$DOCKER ps |grep -P "$name[^/]" -q`
  74     if [[ "$?" == "0" ]]; then
  75       echo "You have a running container with name $name -- skipping."
  76       return
  77     fi
  78
  79     # Remove any existing container by this name.
  80     $DOCKER rm "$name" 2>/dev/null
  81
  82     echo "Starting container:"
  83     #echo "  $DOCKER run --dns=127.0.0.1 $args $image"
  84     echo "  $DOCKER run $args $image"
  85     container=`$DOCKER run $args $image`
  86     if [[ "$?" != "0" ]]; then
  87       echo "Unable to start container"
  88       exit 1
  89     fi
  90     if [[ "$name" == "compute" || $ENABLE_SSH ]];
  91     then
  92       ip=$(ip_address $container )
  93       echo
  94       echo "You can ssh into the container with:"
  95       echo
  96       echo "    ssh root@$ip"
  97       echo
  98     fi
  99
 100     if [[ "$name" == "doc_server" ]]; then
 101       echo
 102       echo "*****************************************************************"
 103       echo "You can access the Arvados documentation at http://localhost:${port%:*}"
 104       echo "*****************************************************************"
 105       echo
 106     fi
 107
 108     if [[ "$name" == "workbench_server" ]]; then
 109       echo
 110       echo "*****************************************************************"
 111       echo "You can access the Arvados workbench at http://localhost:${port%:*}"
 112       echo "*****************************************************************"
 113       echo
 114    fi
 115
 116
 117 }
 118
 119 declare -a keep_volumes
 120
 121 # Initialize the global `keep_volumes' array. If any keep volumes
 122 # already appear to exist (mounted volumes with a top-level "keep"
 123 # directory), use them; create temporary volumes if necessary.
 124 #
 125 function make_keep_volumes () {
 126     # Mount a keep volume if we don't already have one
 127     for mountpoint in $(cut -d ' ' -f 2 /proc/mounts); do
 128       if [[ -d "$mountpoint/keep" && "$mountpoint" != "/" ]]; then
 129         keep_volumes+=($mountpoint)
 130       fi
 131     done
 132
 133     # Create any keep volumes that do not yet exist.
 134     while [ ${#keep_volumes[*]} -lt 2 ]
 135     do
 136         new_keep=$(mktemp -d)
 137         echo >&2 "mounting 512M tmpfs keep volume in $new_keep"
 138         sudo mount -t tmpfs -o size=512M tmpfs $new_keep
 139         mkdir $new_keep/keep
 140         keep_volumes+=($new_keep)
 141     done
 142 }
 143
 144 function do_start {
 145     local start_doc=false
 146     local start_sso=false
 147     local start_api=false
 148     local start_compute=false
 149     local start_workbench=false
 150     local start_vm=false
 151     local start_nameserver=false
 152     local start_keep=false
 153
 154     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 155     local TEMP=`getopt -o d::s::a::c::w::nkvh \
 156                   --long doc::,sso::,api::,compute::,workbench::,nameserver,keep,vm,help,ssh \
 157                   -n "$0" -- "$@"`
 158
 159     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 160
 161     # Note the quotes around `$TEMP': they are essential!
 162     eval set -- "$TEMP"
 163
 164     while [ $# -ge 1 ]
 165     do
 166         case $1 in
 167             -d | --doc)
 168                 case "$2" in
 169                     "") start_doc=9898; shift 2 ;;
 170                     *)  start_doc=$2; shift 2 ;;
 171                 esac
 172                 ;;
 173             -s | --sso)
 174                 case "$2" in
 175                     "") start_sso=9901; shift 2 ;;
 176                     *)  start_sso=$2; shift 2 ;;
 177                 esac
 178                 ;;
 179             -a | --api)
 180                 case "$2" in
 181                     "") start_api=9900; shift 2 ;;
 182                     *)  start_api=$2; shift 2 ;;
 183                 esac
 184                 ;;
 185             -c | --compute)
 186                 case "$2" in
 187                     "") start_compute=2; shift 2 ;;
 188                     *)  start_compute=$2; shift 2 ;;
 189                 esac
 190                 ;;
 191             -w | --workbench)
 192                 case "$2" in
 193                     "") start_workbench=9899; shift 2 ;;
 194                     *)  start_workbench=$2; shift 2 ;;
 195                 esac
 196                 ;;
 197             -v | --vm)
 198                 start_vm=true
 199                 shift
 200                 ;;
 201             -n | --nameserver)
 202                 start_nameserver=true
 203                 shift
 204                 ;;
 205             -k | --keep)
 206                 start_keep=true
 207                 shift
 208                 ;;
 209             --ssh)
 210                 # ENABLE_SSH is a global variable
 211                 ENABLE_SSH=true
 212                 shift
 213                 ;;
 214             --)
 215                 shift
 216                 break
 217                 ;;
 218             *)
 219                 usage
 220                 exit 1
 221                 ;;
 222         esac
 223     done
 224
 225     # If no options were selected, then start all servers.
 226     if [[ $start_doc == false &&
 227           $start_sso == false &&
 228           $start_api == false &&
 229           $start_compute == false &&
 230           $start_workbench == false &&
 231           $start_vm == false &&
 232           $start_nameserver == false &&
 233           $start_keep == false ]]
 234     then
 235         start_doc=9898
 236         start_sso=9901
 237         start_api=9900
 238         start_compute=2
 239         start_workbench=9899
 240         start_vm=true
 241         start_nameserver=true
 242         start_keep=true
 243     fi
 244
 245     if [[ $start_sso != false ]]
 246     then
 247         start_container "$start_sso:443" "sso_server" '' '' "arvados/sso"
 248     fi
 249
 250     if [[ $start_api != false ]]
 251     then
 252         start_container "$start_api:443" "api_server" '' "sso_server:sso" "arvados/api"
 253     fi
 254
 255     if [[ $start_nameserver != false ]]
 256     then
 257       # We rely on skydock and skydns for dns discovery between the slurm controller and compute nodes,
 258       # so make sure they are running
 259       $DOCKER images | grep skydns >/dev/null
 260       if [[ "$?" != "0" ]]; then
 261         echo "Downloading crosbymichael/skydns..."
 262         $DOCKER pull crosbymichael/skydns
 263       fi
 264       $DOCKER ps | grep skydns >/dev/null
 265       if [[ "$?" != "0" ]]; then
 266         echo "Starting crosbymichael/skydns container..."
 267         $DOCKER rm "skydns" 2>/dev/null
 268         $DOCKER run -d -p 172.17.42.1:53:53/udp --name skydns crosbymichael/skydns -nameserver 8.8.8.8:53 -domain arvados
 269       fi
 270       $DOCKER images | grep skydock >/dev/null
 271       if [[ "$?" != "0" ]]; then
 272         echo "Downloading crosbymichael/skydock..."
 273         $DOCKER pull crosbymichael/skydock
 274       fi
 275       $DOCKER ps | grep skydock >/dev/null
 276       if [[ "$?" != "0" ]]; then
 277         echo "Starting crosbymichael/skydock container..."
 278         $DOCKER rm "skydock" 2>/dev/null
 279         $DOCKER run -d -v /var/run/docker.sock:/docker.sock --name skydock crosbymichael/skydock -ttl 30 -environment dev -s /docker.sock -domain arvados -name skydns
 280       fi
 281     fi
 282
 283     if [[ $start_compute != false ]]
 284     then
 285         for i in `seq 0 $(($start_compute - 1))`; do
 286           start_container "" "compute" '' "api_server:api" "arvados/compute"
 287         done
 288     fi
 289
 290     if [[ $start_keep != false ]]
 291     then
 292         # create `keep_volumes' array with a list of keep mount points
 293         # remove any stale metadata from those volumes before starting them
 294         make_keep_volumes
 295         for v in ${keep_volumes[*]}
 296         do
 297             [ -f $v/keep/.metadata.yml ] && sudo rm $v/keep/.metadata.yml
 298         done
 299         start_container "25107:25107" "keep_server_0" \
 300             "${keep_volumes[0]}:/dev/keep-0" \
 301             "api_server:api" \
 302             "arvados/keep"
 303         start_container "25108:25107" "keep_server_1" \
 304             "${keep_volumes[1]}:/dev/keep-0" \
 305             "api_server:api" \
 306             "arvados/keep"
 307     fi
 308
 309     if [[ $start_doc != false ]]
 310     then
 311         start_container "$start_doc:80" "doc_server" '' '' "arvados/doc"
 312     fi
 313
 314     if [[ $start_vm != false ]]
 315     then
 316         start_container "" "shell" '' "api_server:api" "arvados/shell"
 317     fi
 318
 319     if [[ $start_workbench != false ]]
 320     then
 321         start_container "$start_workbench:80" "workbench_server" '' "api_server:api" "arvados/workbench"
 322     fi
 323
 324     if [ -d $HOME/.config/arvados ] || mkdir -p $HOME/.config/arvados
 325     then
 326         cat >$HOME/.config/arvados/settings.conf <<EOF
 327 ARVADOS_API_HOST=$(ip_address "api_server")
 328 ARVADOS_API_HOST_INSECURE=yes
 329 ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 330 EOF
 331     fi
 332
 333 }
 334
 335 function do_stop {
 336     local stop_doc=""
 337     local stop_sso=""
 338     local stop_api=""
 339     local stop_compute=""
 340     local stop_workbench=""
 341     local stop_nameserver=""
 342     local stop_vm=""
 343     local stop_keep=""
 344
 345     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 346     local TEMP=`getopt -o dsacwnkvh \
 347                   --long doc,sso,api,compute,workbench,nameserver,keep,vm,help \
 348                   -n "$0" -- "$@"`
 349
 350     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 351
 352     # Note the quotes around `$TEMP': they are essential!
 353     eval set -- "$TEMP"
 354
 355     while [ $# -ge 1 ]
 356     do
 357         case $1 in
 358             -d | --doc)
 359                 stop_doc=doc_server ; shift ;;
 360             -s | --sso)
 361                 stop_sso=sso_server ; shift ;;
 362             -a | --api)
 363                 stop_api=api_server ; shift ;;
 364             -c | --compute)
 365                 stop_compute=`$DOCKER ps |grep -P "compute\d+" |grep -v api_server |cut -f1 -d ' '` ; shift ;;
 366             -w | --workbench)
 367                 stop_workbench=workbench_server ; shift ;;
 368             -n | --nameserver )
 369                 stop_nameserver="skydock skydns" ; shift ;;
 370             -v | --vm )
 371                 stop_vm="shell" ; shift ;;
 372             -k | --keep )
 373                 stop_keep="keep_server_0 keep_server_1" ; shift ;;
 374             --)
 375                 shift
 376                 break
 377                 ;;
 378             *)
 379                 usage
 380                 exit 1
 381                 ;;
 382         esac
 383     done
 384
 385     # If no options were selected, then stop all servers.
 386     if [[ $stop_doc == "" &&
 387           $stop_sso == "" &&
 388           $stop_api == "" &&
 389           $stop_compute == "" &&
 390           $stop_workbench == "" &&
 391           $stop_vm == "" &&
 392           $stop_nameserver == "" &&
 393           $stop_keep == "" ]]
 394     then
 395         stop_doc=doc_server
 396         stop_sso=sso_server
 397         stop_api=api_server
 398         stop_compute=`$DOCKER ps |grep -P "compute\d+" |grep -v api_server |cut -f1 -d ' '`
 399         stop_workbench=workbench_server
 400         stop_vm=shell
 401         stop_nameserver="skydock skydns"
 402         stop_keep="keep_server_0 keep_server_1"
 403     fi
 404
 405     $DOCKER stop $stop_doc $stop_sso $stop_api $stop_compute $stop_workbench $stop_nameserver $stop_keep $stop_vm \
 406         2>/dev/null
 407 }
 408
 409 function do_test {
 410     local alltests
 411     if [ $# -lt 1 ]
 412     then
 413         alltests="python-sdk api"
 414     else
 415         alltests="$@"
 416     fi
 417
 418     for testname in $alltests
 419     do
 420         echo "testing $testname..."
 421         case $testname in
 422             python-sdk)
 423                 do_start --api --keep --sso
 424                 export ARVADOS_API_HOST=$(ip_address "api_server")
 425                 export ARVADOS_API_HOST_INSECURE=yes
 426                 export ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 427                 python -m unittest discover ../sdk/python
 428                 ;;
 429             api)
 430                 $DOCKER run -t -i arvados/api \
 431                     /usr/src/arvados/services/api/script/rake_test.sh
 432                 ;;
 433             *)
 434                 echo >&2 "unknown test $testname"
 435                 ;;
 436         esac
 437     done
 438 }
 439
 440 if [ $# -lt 1 ]
 441 then
 442   usage
 443   exit 1
 444 fi
 445
 446 case $1 in
 447     start)
 448         shift
 449         do_start $@
 450         ;;
 451     stop)
 452         shift
 453         do_stop $@
 454         ;;
 455     restart)
 456         shift
 457         do_stop $@
 458         do_start $@
 459         ;;
 460     test)
 461         shift
 462         do_test $@
 463         ;;
 464     *)
 465         usage
 466         exit 1
 467         ;;
 468 esac