Merge branch 'master' into 3118-docker-fixes
[arvados.git] / docker / arvdock
1 #!/bin/bash
2
3 ENABLE_SSH=false
4 DOCKER=`which docker.io`
5
6 if [[ "$DOCKER" == "" ]]; then
7     DOCKER=`which docker`
8 fi
9
10 function usage {
11     echo >&2
12     echo >&2 "usage: $0 (start|stop|restart|test) [options]"
13     echo >&2
14     echo >&2 "$0 start/stop/restart options:"
15     echo >&2 "  -d [port], --doc[=port]        Documentation server (default port 9898)"
16     echo >&2 "  -w [port], --workbench[=port]  Workbench server (default port 9899)"
17     echo >&2 "  -s [port], --sso[=port]        SSO server (default port 9901)"
18     echo >&2 "  -a [port], --api[=port]        API server (default port 9900)"
19     echo >&2 "  -k, --keep                     Keep servers"
20     echo >&2 "  --ssh                          Enable SSH access to server containers"
21     echo >&2 "  -h, --help                     Display this help and exit"
22     echo >&2
23     echo >&2 "  If no options are given, the action is applied to all servers."
24     echo >&2
25     echo >&2 "$0 test [testname] [testname] ..."
26     echo >&2 "  By default, all tests are run."
27 }
28
29 function ip_address {
30     local container=$1
31     echo `$DOCKER inspect $container  |grep IPAddress |cut -f4 -d\"`
32 }
33
34 function start_container {
35     local args="-d -i -t"
36     if [[ "$1" != '' ]]; then
37       local port="$1"
38       args="$args -p $port"
39     fi
40     if [[ "$2" != '' ]]; then
41       local name="$2"
42       args="$args --name $name"
43     fi
44     if [[ "$3" != '' ]]; then
45       local volume="$3"
46       args="$args -v $volume"
47     fi
48     if [[ "$4" != '' ]]; then
49       local link="$4"
50       args="$args --link $link"
51     fi
52     local image=$5
53
54     if $ENABLE_SSH
55     then
56       args="$args -e ENABLE_SSH=$ENABLE_SSH"
57     fi
58
59     `$DOCKER ps |grep -P "$name[^/]" -q`
60     if [[ "$?" == "0" ]]; then
61       echo "You have a running container with name $name -- skipping."
62       return
63     fi
64
65     # Remove any existing container by this name.
66     $DOCKER rm "$name" 2>/dev/null
67
68     echo "Starting container:"
69     echo "  $DOCKER run $args $image"
70     container=`$DOCKER run $args $image`
71     if [[ "$?" != "0" ]]; then
72       echo "Unable to start container"
73       exit 1
74     fi
75     if $ENABLE_SSH
76     then
77       ip=$(ip_address $container )
78       echo
79       echo "You can ssh into the container with:"
80       echo
81       echo "    ssh root@$ip"
82       echo
83     fi
84
85     if [[ "$name" == "doc_server" ]]; then
86       echo
87       echo "*****************************************************************"
88       echo "You can access the Arvados documentation at http://localhost:${port%:*}"
89       echo "*****************************************************************"
90       echo
91     fi
92
93     if [[ "$name" == "workbench_server" ]]; then
94       echo
95       echo "*****************************************************************"
96       echo "You can access the Arvados workbench at http://localhost:${port%:*}"
97       echo "*****************************************************************"
98       echo
99    fi
100
101
102 }
103
104 declare -a keep_volumes
105
106 # Initialize the global `keep_volumes' array. If any keep volumes
107 # already appear to exist (mounted volumes with a top-level "keep"
108 # directory), use them; create temporary volumes if necessary.
109 #
110 function make_keep_volumes () {
111     # Mount a keep volume if we don't already have one
112     for mountpoint in $(cut -d ' ' -f 2 /proc/mounts); do
113       if [[ -d "$mountpoint/keep" && "$mountpoint" != "/" ]]; then
114         keep_volumes+=($mountpoint)
115       fi
116     done
117
118     # Create any keep volumes that do not yet exist.
119     while [ ${#keep_volumes[*]} -lt 2 ]
120     do
121         new_keep=$(mktemp -d)
122         echo >&2 "mounting 512M tmpfs keep volume in $new_keep"
123         sudo mount -t tmpfs -o size=512M tmpfs $new_keep
124         mkdir $new_keep/keep
125         keep_volumes+=($new_keep)
126     done
127 }
128
129 function do_start {
130     local start_doc=false
131     local start_sso=false
132     local start_api=false
133     local start_workbench=false
134     local start_keep=false
135
136     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
137     local TEMP=`getopt -o d::s::a::w::kh \
138                   --long doc::,sso::,api::,workbench::,keep,help,ssh \
139                   -n "$0" -- "$@"`
140
141     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
142
143     # Note the quotes around `$TEMP': they are essential!
144     eval set -- "$TEMP"
145
146     while [ $# -ge 1 ]
147     do
148         case $1 in
149             -d | --doc)
150                 case "$2" in
151                     "") start_doc=9898; shift 2 ;;
152                     *)  start_doc=$2; shift 2 ;;
153                 esac
154                 ;;
155             -s | --sso)
156                 case "$2" in
157                     "") start_sso=9901; shift 2 ;;
158                     *)  start_sso=$2; shift 2 ;;
159                 esac
160                 ;;
161             -a | --api)
162                 case "$2" in
163                     "") start_api=9900; shift 2 ;;
164                     *)  start_api=$2; shift 2 ;;
165                 esac
166                 ;;
167             -w | --workbench)
168                 case "$2" in
169                     "") start_workbench=9899; shift 2 ;;
170                     *)  start_workbench=$2; shift 2 ;;
171                 esac
172                 ;;
173             -k | --keep )
174                 start_keep=true
175                 shift
176                 ;;
177             --ssh)
178                 # ENABLE_SSH is a global variable
179                 ENABLE_SSH=true
180                 shift
181                 ;;
182             --)
183                 shift
184                 break
185                 ;;
186             *)
187                 usage
188                 exit 1
189                 ;;
190         esac
191     done
192
193     # If no options were selected, then start all servers.
194     if [[ $start_doc == false &&
195           $start_sso == false &&
196           $start_api == false &&
197           $start_workbench == false &&
198           $start_keep == false ]]
199     then
200         start_doc=9898
201         start_sso=9901
202         start_api=9900
203         start_workbench=9899
204         start_keep=true
205     fi
206
207     if [[ $start_sso != false ]]
208     then
209         start_container "$start_sso:443" "sso_server" '' '' "arvados/sso"
210     fi
211
212     if [[ $start_api != false ]]
213     then
214         start_container "$start_api:443" "api_server" '' "sso_server:sso" "arvados/api"
215     fi
216
217     if [[ $start_keep != false ]]
218     then
219         # create `keep_volumes' array with a list of keep mount points
220         # remove any stale metadata from those volumes before starting them
221         make_keep_volumes
222         for v in ${keep_volumes[*]}
223         do
224             [ -f $v/keep/.metadata.yml ] && sudo rm $v/keep/.metadata.yml
225         done
226         start_container "25107:25107" "keep_server_0" \
227             "${keep_volumes[0]}:/dev/keep-0" \
228             "api_server:api" \
229             "arvados/keep"
230         start_container "25108:25107" "keep_server_1" \
231             "${keep_volumes[1]}:/dev/keep-0" \
232             "api_server:api" \
233             "arvados/keep"
234     fi
235
236     if [[ $start_doc != false ]]
237     then
238         start_container "$start_doc:80" "doc_server" '' '' "arvados/doc"
239     fi
240
241     if [[ $start_workbench != false ]]
242     then
243         start_container "$start_workbench:80" "workbench_server" '' "api_server:api" "arvados/workbench"
244     fi
245
246     if [ -d $HOME/.config/arvados ] || mkdir -p $HOME/.config/arvados
247     then
248         cat >$HOME/.config/arvados/settings.conf <<EOF
249 ARVADOS_API_HOST=$(ip_address "api_server")
250 ARVADOS_API_HOST_INSECURE=yes
251 ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
252 EOF
253     fi
254
255 }
256
257 function do_stop {
258     local stop_doc=""
259     local stop_sso=""
260     local stop_api=""
261     local stop_workbench=""
262     local stop_keep=""
263
264     # NOTE: This requires GNU getopt (part of the util-linux package on Debian-based distros).
265     local TEMP=`getopt -o d::s::a::w::kh \
266                   --long doc::,sso::,api::,workbench::,keep,help,ssh \
267                   -n "$0" -- "$@"`
268
269     if [ $? != 0 ] ; then echo "Use -h for help"; exit 1 ; fi
270
271     # Note the quotes around `$TEMP': they are essential!
272     eval set -- "$TEMP"
273
274     while [ $# -ge 1 ]
275     do
276         case $1 in
277             -d | --doc)
278                 stop_doc=doc_server ; shift 2 ;;
279             -s | --sso)
280                 stop_sso=sso_server ; shift 2 ;;
281             -a | --api)
282                 stop_api=api_server ; shift 2 ;;
283             -w | --workbench)
284                 stop_workbench=workbench_server ; shift 2 ;;
285             -k | --keep )
286                 stop_keep="keep_server_0 keep_server_1" ; shift ;;
287             --ssh)
288                 shift
289                 ;;
290             --)
291                 shift
292                 break
293                 ;;
294             *)
295                 usage
296                 exit 1
297                 ;;
298         esac
299     done
300
301     # If no options were selected, then stop all servers.
302     if [[ $stop_doc == "" &&
303           $stop_sso == "" &&
304           $stop_api == "" &&
305           $stop_workbench == "" &&
306           $stop_keep == "" ]]
307     then
308         stop_doc=doc_server
309         stop_sso=sso_server
310         stop_api=api_server
311         stop_workbench=workbench_server
312         stop_keep="keep_server_0 keep_server_1"
313     fi
314
315     $DOCKER stop $stop_doc $stop_sso $stop_api $stop_workbench $stop_keep \
316         2>/dev/null
317 }
318
319 function do_test {
320     local alltests
321     if [ $# -lt 1 ]
322     then
323         alltests="python-sdk api"
324     else
325         alltests="$@"
326     fi
327
328     for testname in $alltests
329     do
330         echo "testing $testname..."
331         case $testname in
332             python-sdk)
333                 do_start --api --keep --sso
334                 export ARVADOS_API_HOST=$(ip_address "api_server")
335                 export ARVADOS_API_HOST_INSECURE=yes
336                 export ARVADOS_API_TOKEN=$(cat api/generated/superuser_token)
337                 python -m unittest discover ../sdk/python
338                 ;;
339             api)
340                 $DOCKER run -t -i arvados/api \
341                     /usr/src/arvados/services/api/script/rake_test.sh
342                 ;;
343             *)
344                 echo >&2 "unknown test $testname"
345                 ;;
346         esac
347     done
348 }
349
350 if [ $# -lt 1 ]
351 then
352   usage
353   exit 1
354 fi
355
356 case $1 in
357     start)
358         shift
359         do_start $@
360         ;;
361     stop)
362         shift
363         do_stop $@
364         ;;
365     restart)
366         shift
367         do_stop $@
368         do_start $@
369         ;;
370     test)
371         shift
372         do_test $@
373         ;;
374     *)
375         usage
376         exit 1
377         ;;
378 esac