docker/arvdock

   1 #!/bin/bash
   2
   3 ENABLE_SSH=false
   4 DOCKER=`which docker.io`
   5
   6 if [[ "$DOCKER" == "" ]]; then
   7     DOCKER=`which docker`
   8 fi
   9
  10 COMPUTE_COUNTER=0
  11
  12 function usage {
  13     echo >&2
  14     echo >&2 "usage: $0 (start|stop|restart|test) [options]"
  15     echo >&2
  16     echo >&2 "$0 start/stop/restart options:"
  17     echo >&2 "  -d[port], --doc[=port]        Documentation server (default port 9898)"
  18     echo >&2 "  -w[port], --workbench[=port]  Workbench server (default port 9899)"
  19     echo >&2 "  -s[port], --sso[=port]        SSO server (default port 9901)"
  20     echo >&2 "  -a[port], --api[=port]        API server (default port 9900)"
  21     echo >&2 "  -c[count], --compute[=count]  Compute nodes (default starts 2)"
  22     echo >&2 "  -n, --nameserver              Nameserver"
  23     echo >&2 "  -k, --keep                    Keep servers"
  24     echo >&2 "  --ssh                         Enable SSH access to server containers"
  25     echo >&2 "  -h, --help                    Display this help and exit"
  26     echo >&2
  27     echo >&2 "  If no options are given, the action is applied to all servers."
  28     echo >&2
  29     echo >&2 "$0 test [testname] [testname] ..."
  30     echo >&2 "  By default, all tests are run."
  31 }
  32
  33 function ip_address {
  34     local container=$1
  35     echo `$DOCKER inspect $container  |grep IPAddress |cut -f4 -d\"`
  36 }
  37
  38 function start_container {
  39     local args="-d -i -t"
  40     if [[ "$1" != '' ]]; then
  41       local port="$1"
  42       args="$args -p $port"
  43     fi
  44     if [[ "$2" != '' ]]; then
  45       local name="$2"
  46       if [[ "$name" == "api_server" ]]; then
  47         args="$args --hostname api -P --name $name"
  48       elif [[ "$name" == "compute" ]]; then
  49         name=$name$COMPUTE_COUNTER
  50         # We need --privileged because we run docker-inside-docker on the compute nodes
  51         args="$args --hostname compute$COMPUTE_COUNTER -P --privileged --name $name"
  52         let COMPUTE_COUNTER=$(($COMPUTE_COUNTER + 1))
  53       else
  54         args="$args --name $name"
  55       fi
  56     fi
  57     if [[ "$3" != '' ]]; then
  58       local volume="$3"
  59       args="$args -v $volume"
  60     fi
  61     if [[ "$4" != '' ]]; then
  62       local link="$4"
  63       args="$args --link $link"
  64     fi
  65     local image=$5
  66
  67     if $ENABLE_SSH
  68     then
  69       args="$args -e ENABLE_SSH=$ENABLE_SSH"
  70     fi
  71
  72     `$DOCKER ps |grep -P "$name[^/]" -q`
  73     if [[ "$?" == "0" ]]; then
  74       echo "You have a running container with name $name -- skipping."
  75       return
  76     fi
  77
  78     # Remove any existing container by this name.
  79     $DOCKER rm "$name" 2>/dev/null
  80
  81     echo "Starting container:"
  82     #echo "  $DOCKER run --dns=127.0.0.1 $args $image"
  83     echo "  $DOCKER run $args $image"
  84     container=`$DOCKER run --dns=172.17.42.1 --dns-search=compute.dev.arvados $args $image`
  85     if [[ "$?" != "0" ]]; then
  86       echo "Unable to start container"
  87       exit 1
  88     fi
  89     if $ENABLE_SSH
  90     then
  91       ip=$(ip_address $container )
  92       echo
  93       echo "You can ssh into the container with:"
  94       echo
  95       echo "    ssh root@$ip"
  96       echo
  97     fi
  98
  99     if [[ "$name" == "doc_server" ]]; then
 100       echo
 101       echo "*****************************************************************"
 102       echo "You can access the Arvados documentation at http://localhost:${port%:*}"
 103       echo "*****************************************************************"
 104       echo
 105     fi
 106
 107     if [[ "$name" == "workbench_server" ]]; then
 108       echo
 109       echo "*****************************************************************"
 110       echo "You can access the Arvados workbench at http://localhost:${port%:*}"
 111       echo "*****************************************************************"
 112       echo
 113    fi
 114
 115
 116 }
 117
 118 declare -a keep_volumes
 119
 120 # Initialize the global `keep_volumes' array. If any keep volumes
 121 # already appear to exist (mounted volumes with a top-level "keep"
 122 # directory), use them; create temporary volumes if necessary.
 123 #
 124 function make_keep_volumes () {
 125     # Mount a keep volume if we don't already have one
 126     for mountpoint in $(cut -d ' ' -f 2 /proc/mounts); do
 127       if [[ -d "$mountpoint/keep" && "$mountpoint" != "/" ]]; then
 128         keep_volumes+=($mountpoint)
 129       fi
 130     done
 131
 132     # Create any keep volumes that do not yet exist.
 133     while [ ${#keep_volumes[*]} -lt 2 ]
 134     do
 135         new_keep=$(mktemp -d)
 136         echo >&2 "mounting 512M tmpfs keep volume in $new_keep"
 137         sudo mount -t tmpfs -o size=512M tmpfs $new_keep
 138         mkdir $new_keep/keep
 139         keep_volumes+=($new_keep)
 140     done
 141 }
 142
 143 function do_start {
 144     local start_doc=false
 145     local start_sso=false
 146     local start_api=false
 147     local start_compute=false
 148     local start_workbench=false
 149     local start_nameserver=false
 150     local start_keep=false
 151
 152     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 153     local TEMP=`getopt -o d::s::a::c::w::nkh \
 154                   --long doc::,sso::,api::,compute::,workbench::,nameserver,keep,help,ssh \
 155                   -n "$0" -- "$@"`
 156
 157     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 158
 159     # Note the quotes around `$TEMP': they are essential!
 160     eval set -- "$TEMP"
 161
 162     while [ $# -ge 1 ]
 163     do
 164         case $1 in
 165             -d | --doc)
 166                 case "$2" in
 167                     "") start_doc=9898; shift 2 ;;
 168                     *)  start_doc=$2; shift 2 ;;
 169                 esac
 170                 ;;
 171             -s | --sso)
 172                 case "$2" in
 173                     "") start_sso=9901; shift 2 ;;
 174                     *)  start_sso=$2; shift 2 ;;
 175                 esac
 176                 ;;
 177             -a | --api)
 178                 case "$2" in
 179                     "") start_api=9900; shift 2 ;;
 180                     *)  start_api=$2; shift 2 ;;
 181                 esac
 182                 ;;
 183             -c | --compute)
 184                 case "$2" in
 185                     "") start_compute=2; shift 2 ;;
 186                     *)  start_compute=$2; shift 2 ;;
 187                 esac
 188                 ;;
 189             -w | --workbench)
 190                 case "$2" in
 191                     "") start_workbench=9899; shift 2 ;;
 192                     *)  start_workbench=$2; shift 2 ;;
 193                 esac
 194                 ;;
 195             -n | --nameserver)
 196                 start_nameserver=true
 197                 shift
 198                 ;;
 199             -k | --keep)
 200                 start_keep=true
 201                 shift
 202                 ;;
 203             --ssh)
 204                 # ENABLE_SSH is a global variable
 205                 ENABLE_SSH=true
 206                 shift
 207                 ;;
 208             --)
 209                 shift
 210                 break
 211                 ;;
 212             *)
 213                 usage
 214                 exit 1
 215                 ;;
 216         esac
 217     done
 218
 219     # If no options were selected, then start all servers.
 220     if [[ $start_doc == false &&
 221           $start_sso == false &&
 222           $start_api == false &&
 223           $start_compute == false &&
 224           $start_workbench == false &&
 225           $start_nameserver == false &&
 226           $start_keep == false ]]
 227     then
 228         start_doc=9898
 229         start_sso=9901
 230         start_api=9900
 231         start_compute=2
 232         start_workbench=9899
 233         start_nameserver=true
 234         start_keep=true
 235     fi
 236
 237     if [[ $start_sso != false ]]
 238     then
 239         start_container "$start_sso:443" "sso_server" '' '' "arvados/sso"
 240     fi
 241
 242     if [[ $start_api != false ]]
 243     then
 244         start_container "$start_api:443" "api_server" '' "sso_server:sso" "arvados/api"
 245     fi
 246
 247     if [[ $start_nameserver != false ]]
 248     then
 249       # We rely on skydock and skydns for dns discovery between the slurm controller and compute nodes,
 250       # so make sure they are running
 251       $DOCKER images | grep skydns >/dev/null
 252       if [[ "$?" != "0" ]]; then
 253         echo "Downloading crosbymichael/skydns..."
 254         $DOCKER pull crosbymichael/skydns
 255       fi
 256       $DOCKER ps | grep skydns >/dev/null
 257       if [[ "$?" != "0" ]]; then
 258         echo "Starting crosbymichael/skydns container..."
 259         $DOCKER rm "skydns" 2>/dev/null
 260         $DOCKER run -d -p 172.17.42.1:53:53/udp --name skydns crosbymichael/skydns -nameserver 8.8.8.8:53 -domain arvados
 261       fi
 262       $DOCKER images | grep skydock >/dev/null
 263       if [[ "$?" != "0" ]]; then
 264         echo "Downloading crosbymichael/skydock..."
 265         $DOCKER pull crosbymichael/skydock
 266       fi
 267       $DOCKER ps | grep skydock >/dev/null
 268       if [[ "$?" != "0" ]]; then
 269         echo "Starting crosbymichael/skydock container..."
 270         $DOCKER rm "skydock" 2>/dev/null
 271         $DOCKER run -d -v /var/run/docker.sock:/docker.sock --name skydock crosbymichael/skydock -ttl 30 -environment dev -s /docker.sock -domain arvados -name skydns
 272       fi
 273     fi
 274
 275     if [[ $start_compute != false ]]
 276     then
 277         for i in `seq 0 $(($start_compute - 1))`; do
 278           start_container "" "compute" '' "api_server:api" "arvados/compute"
 279         done
 280     fi
 281
 282     if [[ $start_keep != false ]]
 283     then
 284         # create `keep_volumes' array with a list of keep mount points
 285         # remove any stale metadata from those volumes before starting them
 286         make_keep_volumes
 287         for v in ${keep_volumes[*]}
 288         do
 289             [ -f $v/keep/.metadata.yml ] && sudo rm $v/keep/.metadata.yml
 290         done
 291         start_container "25107:25107" "keep_server_0" \
 292             "${keep_volumes[0]}:/dev/keep-0" \
 293             "api_server:api" \
 294             "arvados/keep"
 295         start_container "25108:25107" "keep_server_1" \
 296             "${keep_volumes[1]}:/dev/keep-0" \
 297             "api_server:api" \
 298             "arvados/keep"
 299     fi
 300
 301     if [[ $start_doc != false ]]
 302     then
 303         start_container "$start_doc:80" "doc_server" '' '' "arvados/doc"
 304     fi
 305
 306     if [[ $start_workbench != false ]]
 307     then
 308         start_container "$start_workbench:80" "workbench_server" '' "api_server:api" "arvados/workbench"
 309     fi
 310
 311     if [ -d $HOME/.config/arvados ] || mkdir -p $HOME/.config/arvados
 312     then
 313         cat >$HOME/.config/arvados/settings.conf <<EOF
 314 ARVADOS_API_HOST=$(ip_address "api_server")
 315 ARVADOS_API_HOST_INSECURE=yes
 316 ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 317 EOF
 318     fi
 319
 320 }
 321
 322 function do_stop {
 323     local stop_doc=""
 324     local stop_sso=""
 325     local stop_api=""
 326     local stop_compute=""
 327     local stop_workbench=""
 328     local stop_nameserver=""
 329     local stop_keep=""
 330
 331     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
 332     local TEMP=`getopt -o dsacwnkh \
 333                   --long doc,sso,api,compute,workbench,nameserver,keep,help \
 334                   -n "$0" -- "$@"`
 335
 336     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
 337
 338     # Note the quotes around `$TEMP': they are essential!
 339     eval set -- "$TEMP"
 340
 341     while [ $# -ge 1 ]
 342     do
 343         case $1 in
 344             -d | --doc)
 345                 stop_doc=doc_server ; shift ;;
 346             -s | --sso)
 347                 stop_sso=sso_server ; shift ;;
 348             -a | --api)
 349                 stop_api=api_server ; shift ;;
 350             -c | --compute)
 351                 stop_compute=`$DOCKER ps |grep -P "compute\d+" |grep -v api_server |cut -f1 -d ' '` ; shift ;;
 352             -w | --workbench)
 353                 stop_workbench=workbench_server ; shift ;;
 354             -n | --nameserver )
 355                 stop_keep="skydock skydns" ; shift ;;
 356             -k | --keep )
 357                 stop_keep="keep_server_0 keep_server_1" ; shift ;;
 358             --)
 359                 shift
 360                 break
 361                 ;;
 362             *)
 363                 usage
 364                 exit 1
 365                 ;;
 366         esac
 367     done
 368
 369     # If no options were selected, then stop all servers.
 370     if [[ $stop_doc == "" &&
 371           $stop_sso == "" &&
 372           $stop_api == "" &&
 373           $stop_compute == "" &&
 374           $stop_workbench == "" &&
 375           $stop_nameserver == "" &&
 376           $stop_keep == "" ]]
 377     then
 378         stop_doc=doc_server
 379         stop_sso=sso_server
 380         stop_api=api_server
 381         stop_compute=`$DOCKER ps |grep -P "compute\d+" |grep -v api_server |cut -f1 -d ' '`
 382         stop_workbench=workbench_server
 383         stop_nameserver="skydock skydns"
 384         stop_keep="keep_server_0 keep_server_1"
 385     fi
 386
 387     $DOCKER stop $stop_doc $stop_sso $stop_api $stop_compute $stop_workbench $stop_nameserver $stop_keep \
 388         2>/dev/null
 389 }
 390
 391 function do_test {
 392     local alltests
 393     if [ $# -lt 1 ]
 394     then
 395         alltests="python-sdk api"
 396     else
 397         alltests="$@"
 398     fi
 399
 400     for testname in $alltests
 401     do
 402         echo "testing $testname..."
 403         case $testname in
 404             python-sdk)
 405                 do_start --api --keep --sso
 406                 export ARVADOS_API_HOST=$(ip_address "api_server")
 407                 export ARVADOS_API_HOST_INSECURE=yes
 408                 export ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
 409                 python -m unittest discover ../sdk/python
 410                 ;;
 411             api)
 412                 $DOCKER run -t -i arvados/api \
 413                     /usr/src/arvados/services/api/script/rake_test.sh
 414                 ;;
 415             *)
 416                 echo >&2 "unknown test $testname"
 417                 ;;
 418         esac
 419     done
 420 }
 421
 422 if [ $# -lt 1 ]
 423 then
 424   usage
 425   exit 1
 426 fi
 427
 428 case $1 in
 429     start)
 430         shift
 431         do_start $@
 432         ;;
 433     stop)
 434         shift
 435         do_stop $@
 436         ;;
 437     restart)
 438         shift
 439         do_stop $@
 440         do_start $@
 441         ;;
 442     test)
 443         shift
 444         do_test $@
 445         ;;
 446     *)
 447         usage
 448         exit 1
 449         ;;
 450 esac