3706: Merge branch 'master' into 3706-keep-warning
[arvados.git] / docker / arvdock
1 #!/bin/bash
2
3 ENABLE_SSH=false
4 DOCKER=`which docker.io`
5
6 if [[ "$DOCKER" == "" ]]; then
7     DOCKER=`which docker`
8 fi
9
10 COMPUTE_COUNTER=0
11
12 function usage {
13     echo >&2
14     echo >&2 "usage: $0 (start|stop|restart|test) [options]"
15     echo >&2
16     echo >&2 "$0 start/stop/restart options:"
17     echo >&2 "  -d[port], --doc[=port]        Documentation server (default port 9898)"
18     echo >&2 "  -w[port], --workbench[=port]  Workbench server (default port 9899)"
19     echo >&2 "  -s[port], --sso[=port]        SSO server (default port 9901)"
20     echo >&2 "  -a[port], --api[=port]        API server (default port 9900)"
21     echo >&2 "  -c, --compute                 Compute nodes (starts 2)"
22     echo >&2 "  -v, --vm                      Shell server"
23     echo >&2 "  -n, --nameserver              Nameserver"
24     echo >&2 "  -k, --keep                    Keep servers"
25     echo >&2 "  --ssh                         Enable SSH access to server containers"
26     echo >&2 "  -h, --help                    Display this help and exit"
27     echo >&2
28     echo >&2 "  If no options are given, the action is applied to all servers."
29     echo >&2
30     echo >&2 "$0 test [testname] [testname] ..."
31     echo >&2 "  By default, all tests are run."
32 }
33
34 function ip_address {
35     local container=$1
36     echo `$DOCKER inspect $container  |grep IPAddress |cut -f4 -d\"`
37 }
38
39 function start_container {
40     local args="-d -i -t"
41     if [[ "$1" != '' ]]; then
42       local port="$1"
43       args="$args -p $port"
44     fi
45     if [[ "$2" != '' ]]; then
46       local name="$2"
47       if [[ "$name" == "api_server" ]]; then
48         args="$args --dns=172.17.42.1 --dns-search=compute.dev.arvados --hostname api -P --name $name"
49       elif [[ "$name" == "compute" ]]; then
50         name=$name$COMPUTE_COUNTER
51         # We need --privileged because we run docker-inside-docker on the compute nodes
52         args="$args --dns=172.17.42.1 --dns-search=compute.dev.arvados --hostname compute$COMPUTE_COUNTER -P --privileged --name $name"
53         let COMPUTE_COUNTER=$(($COMPUTE_COUNTER + 1))
54       else
55         args="$args --dns=172.17.42.1 --dns-search=dev.arvados --hostname ${name#_server} --name $name"
56       fi
57     fi
58     if [[ "$3" != '' ]]; then
59       local volume="$3"
60       args="$args -v $volume"
61     fi
62     if [[ "$4" != '' ]]; then
63       local link="$4"
64       args="$args --link $link"
65     fi
66     local image=$5
67
68     if $ENABLE_SSH
69     then
70       args="$args -e ENABLE_SSH=$ENABLE_SSH"
71     fi
72
73     `$DOCKER ps |grep -P "$name[^/]" -q`
74     if [[ "$?" == "0" ]]; then
75       echo "You have a running container with name $name -- skipping."
76       return
77     fi
78
79     # Remove any existing container by this name.
80     $DOCKER rm "$name" 2>/dev/null
81
82     echo "Starting container:"
83     #echo "  $DOCKER run --dns=127.0.0.1 $args $image"
84     echo "  $DOCKER run $args $image"
85     container=`$DOCKER run $args $image`
86     if [ "$?" != "0" -o "$container" = "" ]; then
87       echo "Unable to start container"
88       exit 1
89     fi
90     if [ "$name" == "compute" -o "$ENABLE_SSH" != "false" ];
91     then
92       ip=$(ip_address $container )
93       echo
94       echo "You can ssh into the container with:"
95       echo
96       echo "    ssh root@$ip"
97       echo
98     else
99       echo "Started container: $container"
100     fi
101
102     if [[ "$name" == "doc_server" ]]; then
103       echo
104       echo "*****************************************************************"
105       echo "You can access the Arvados documentation at http://localhost:${port%:*}"
106       echo "*****************************************************************"
107       echo
108     fi
109
110     if [[ "$name" == "workbench_server" ]]; then
111       echo
112       echo "*****************************************************************"
113       echo "You can access the Arvados workbench at http://localhost:${port%:*}"
114       echo "*****************************************************************"
115       echo
116    fi
117
118
119 }
120
121 declare -a keep_volumes
122
123 # Initialize the global `keep_volumes' array. If any keep volumes
124 # already appear to exist (mounted volumes with a top-level "keep"
125 # directory), use them; create temporary volumes if necessary.
126 #
127 function make_keep_volumes () {
128     # Mount a keep volume if we don't already have one
129     for mountpoint in $(cut -d ' ' -f 2 /proc/mounts); do
130       if [[ -d "$mountpoint/keep" && "$mountpoint" != "/" ]]; then
131         keep_volumes+=($mountpoint)
132       fi
133     done
134
135     # Create any keep volumes that do not yet exist.
136     while [ ${#keep_volumes[*]} -lt 2 ]
137     do
138         new_keep=$(mktemp -d)
139         echo >&2 "mounting 2G tmpfs keep volume in $new_keep"
140         sudo mount -t tmpfs -o size=2G tmpfs $new_keep
141         mkdir $new_keep/keep
142         keep_volumes+=($new_keep)
143     done
144 }
145
146 function do_start {
147     local start_doc=false
148     local start_sso=false
149     local start_api=false
150     local start_compute=false
151     local start_workbench=false
152     local start_vm=false
153     local start_nameserver=false
154     local start_keep=false
155
156     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
157     local TEMP=`getopt -o d::s::a::cw::nkvh \
158                   --long doc::,sso::,api::,compute,workbench::,nameserver,keep,vm,help,ssh \
159                   -n "$0" -- "$@"`
160
161     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
162
163     # Note the quotes around `$TEMP': they are essential!
164     eval set -- "$TEMP"
165
166     while [ $# -ge 1 ]
167     do
168         case $1 in
169             -d | --doc)
170                 case "$2" in
171                     "") start_doc=9898; shift 2 ;;
172                     *)  start_doc=$2; shift 2 ;;
173                 esac
174                 ;;
175             -s | --sso)
176                 case "$2" in
177                     "") start_sso=9901; shift 2 ;;
178                     *)  start_sso=$2; shift 2 ;;
179                 esac
180                 ;;
181             -a | --api)
182                 case "$2" in
183                     "") start_api=9900; shift 2 ;;
184                     *)  start_api=$2; shift 2 ;;
185                 esac
186                 ;;
187             -c | --compute)
188                 start_compute=2
189                 shift
190                 ;;
191             -w | --workbench)
192                 case "$2" in
193                     "") start_workbench=9899; shift 2 ;;
194                     *)  start_workbench=$2; shift 2 ;;
195                 esac
196                 ;;
197             -v | --vm)
198                 start_vm=true
199                 shift
200                 ;;
201             -n | --nameserver)
202                 start_nameserver=true
203                 shift
204                 ;;
205             -k | --keep)
206                 start_keep=true
207                 shift
208                 ;;
209             --ssh)
210                 # ENABLE_SSH is a global variable
211                 ENABLE_SSH=true
212                 shift
213                 ;;
214             --)
215                 shift
216                 break
217                 ;;
218             *)
219                 usage
220                 exit 1
221                 ;;
222         esac
223     done
224
225     # If no options were selected, then start all servers.
226     if [[ $start_doc == false &&
227           $start_sso == false &&
228           $start_api == false &&
229           $start_compute == false &&
230           $start_workbench == false &&
231           $start_vm == false &&
232           $start_nameserver == false &&
233           $start_keep == false ]]
234     then
235         start_doc=9898
236         #the sso server is currently not used by default so don't start it unless explicitly requested
237         #start_sso=9901
238         start_api=9900
239         start_compute=2
240         start_workbench=9899
241         start_vm=true
242         start_nameserver=true
243         start_keep=true
244     fi
245
246     if [[ $start_sso != false ]]
247     then
248         start_container "$start_sso:443" "sso_server" '' '' "arvados/sso"
249     fi
250
251     if [[ $start_api != false ]]
252     then
253       if [[ $start_sso != false ]]; then
254         start_container "$start_api:443" "api_server" '' "sso_server:sso" "arvados/api"
255       else
256         start_container "$start_api:443" "api_server" '' '' "arvados/api"
257       fi
258     fi
259
260     if [[ $start_nameserver != false ]]
261     then
262       # We rely on skydock and skydns for dns discovery between the slurm controller and compute nodes,
263       # so make sure they are running
264       $DOCKER ps | grep skydns >/dev/null
265       if [[ "$?" != "0" ]]; then
266         echo "Starting crosbymichael/skydns container..."
267         $DOCKER rm "skydns" 2>/dev/null
268         $DOCKER run -d -p 172.17.42.1:53:53/udp --name skydns crosbymichael/skydns -nameserver 8.8.8.8:53 -domain arvados
269       fi
270       $DOCKER ps | grep skydock >/dev/null
271       if [[ "$?" != "0" ]]; then
272         echo "Starting crosbymichael/skydock container..."
273         $DOCKER rm "skydock" 2>/dev/null
274         $DOCKER run -d -v /var/run/docker.sock:/docker.sock --name skydock crosbymichael/skydock -ttl 30 -environment dev -s /docker.sock -domain arvados -name skydns
275       fi
276     fi
277
278     if [[ $start_compute != false ]]
279     then
280         for i in `seq 0 $(($start_compute - 1))`; do
281           start_container "" "compute" '' "api_server:api" "arvados/compute"
282         done
283     fi
284
285     if [[ $start_keep != false ]]
286     then
287         # create `keep_volumes' array with a list of keep mount points
288         # remove any stale metadata from those volumes before starting them
289         make_keep_volumes
290         for v in ${keep_volumes[*]}
291         do
292             [ -f $v/keep/.metadata.yml ] && sudo rm $v/keep/.metadata.yml
293         done
294         start_container "25107:25107" "keep_server_0" \
295             "${keep_volumes[0]}:/keep-data" \
296             "api_server:api" \
297             "arvados/keep"
298         start_container "25108:25107" "keep_server_1" \
299             "${keep_volumes[1]}:/keep-data" \
300             "api_server:api" \
301             "arvados/keep"
302     fi
303
304     if [[ $start_doc != false ]]
305     then
306         start_container "$start_doc:80" "doc_server" '' '' "arvados/doc"
307     fi
308
309     if [[ $start_vm != false ]]
310     then
311         start_container "" "shell" '' "api_server:api" "arvados/shell"
312     fi
313
314     if [[ $start_workbench != false ]]
315     then
316         start_container "$start_workbench:80" "workbench_server" '' "api_server:api" "arvados/workbench"
317     fi
318
319     if [[ $start_api != false ]]
320     then
321         if [ -d $HOME/.config/arvados ] || mkdir -p $HOME/.config/arvados
322         then
323             cat >$HOME/.config/arvados/settings.conf <<EOF
324 ARVADOS_API_HOST=$(ip_address "api_server")
325 ARVADOS_API_HOST_INSECURE=yes
326 ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
327 EOF
328         fi
329     fi
330
331 }
332
333 function do_stop {
334     local stop_doc=""
335     local stop_sso=""
336     local stop_api=""
337     local stop_compute=""
338     local stop_workbench=""
339     local stop_nameserver=""
340     local stop_vm=""
341     local stop_keep=""
342
343     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
344     local TEMP=`getopt -o dsacwnkvh \
345                   --long doc,sso,api,compute,workbench,nameserver,keep,vm,help \
346                   -n "$0" -- "$@"`
347
348     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
349
350     # Note the quotes around `$TEMP': they are essential!
351     eval set -- "$TEMP"
352
353     while [ $# -ge 1 ]
354     do
355         case $1 in
356             -d | --doc)
357                 stop_doc=doc_server ; shift ;;
358             -s | --sso)
359                 stop_sso=sso_server ; shift ;;
360             -a | --api)
361                 stop_api=api_server ; shift ;;
362             -c | --compute)
363                 stop_compute=`$DOCKER ps |grep -P "compute\d+" |grep -v api_server |cut -f1 -d ' '` ; shift ;;
364             -w | --workbench)
365                 stop_workbench=workbench_server ; shift ;;
366             -n | --nameserver )
367                 stop_nameserver="skydock skydns" ; shift ;;
368             -v | --vm )
369                 stop_vm="shell" ; shift ;;
370             -k | --keep )
371                 stop_keep="keep_server_0 keep_server_1" ; shift ;;
372             --)
373                 shift
374                 break
375                 ;;
376             *)
377                 usage
378                 exit 1
379                 ;;
380         esac
381     done
382
383     # If no options were selected, then stop all servers.
384     if [[ $stop_doc == "" &&
385           $stop_sso == "" &&
386           $stop_api == "" &&
387           $stop_compute == "" &&
388           $stop_workbench == "" &&
389           $stop_vm == "" &&
390           $stop_nameserver == "" &&
391           $stop_keep == "" ]]
392     then
393         stop_doc=doc_server
394         stop_sso=sso_server
395         stop_api=api_server
396         stop_compute=`$DOCKER ps |grep -P "compute\d+" |grep -v api_server |cut -f1 -d ' '`
397         stop_workbench=workbench_server
398         stop_vm=shell
399         stop_nameserver="skydock skydns"
400         stop_keep="keep_server_0 keep_server_1"
401     fi
402
403     $DOCKER stop $stop_doc $stop_sso $stop_api $stop_compute $stop_workbench $stop_nameserver $stop_keep $stop_vm \
404         2>/dev/null
405 }
406
407 function do_test {
408     local alltests
409     if [ $# -lt 1 ]
410     then
411         alltests="python-sdk api"
412     else
413         alltests="$@"
414     fi
415
416     for testname in $alltests
417     do
418         echo "testing $testname..."
419         case $testname in
420             python-sdk)
421                 do_start --api --keep --sso
422                 export ARVADOS_API_HOST=$(ip_address "api_server")
423                 export ARVADOS_API_HOST_INSECURE=yes
424                 export ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
425                 python -m unittest discover ../sdk/python
426                 ;;
427             api)
428                 $DOCKER run -t -i arvados/api \
429                     /usr/src/arvados/services/api/script/rake_test.sh
430                 ;;
431             *)
432                 echo >&2 "unknown test $testname"
433                 ;;
434         esac
435     done
436 }
437
438 if [ $# -lt 1 ]
439 then
440   usage
441   exit 1
442 fi
443
444 case $1 in
445     start)
446         shift
447         do_start $@
448         ;;
449     stop)
450         shift
451         do_stop $@
452         ;;
453     restart)
454         shift
455         do_stop $@
456         do_start $@
457         ;;
458     test)
459         shift
460         do_test $@
461         ;;
462     *)
463         usage
464         exit 1
465         ;;
466 esac