tools/run-integration-tests.sh

   1 #!/bin/bash
   2 # Copyright (C) The Arvados Authors. All rights reserved.
   3 #
   4 # SPDX-License-Identifier: AGPL-3.0
   5
   6 set -e -o pipefail
   7
   8 cleanup() {
   9     set -x
  10     set +e +o pipefail
  11     kill ${arvboot_PID} ${consume_stdout_PID} ${wb2_PID} ${consume_wb2_stdout_PID}
  12     wait ${arvboot_PID} ${consume_stdout_PID} ${wb2_PID} ${consume_wb2_stdout_PID} || true
  13     if [ ${CLEANUP_ARVADOS_DIR} -eq 1 ]; then
  14         rm -rf ${ARVADOS_DIR}
  15     fi
  16     echo >&2 "done"
  17 }
  18
  19 random_free_port() {
  20     while port=$(shuf -n1 -i $(cat /proc/sys/net/ipv4/ip_local_port_range | tr '\011' '-'))
  21     netstat -atun | grep -q ":$port\s" ; do
  22         continue
  23     done
  24     echo $port
  25 }
  26
  27 usage() {
  28     echo "Usage: ${0} [options]"
  29     echo "Options:"
  30     echo "  -i            Run Cypress in interactive mode."
  31     echo "  -a PATH       Arvados dir. If PATH doesn't exist, a repo clone is downloaded there."
  32     echo "  -w PATH       Workbench2 dir. Default: Current working directory"
  33     exit 0
  34 }
  35
  36 # Allow self-signed certs on 'wait-on'
  37 export NODE_TLS_REJECT_UNAUTHORIZED=0
  38
  39 ARVADOS_DIR="unset"
  40 CLEANUP_ARVADOS_DIR=0
  41 CYPRESS_MODE="run"
  42 WB2_DIR=`pwd`
  43
  44 while getopts "ia:w:" o; do
  45     case "${o}" in
  46         i)
  47             # Interactive mode
  48             CYPRESS_MODE="open"
  49             ;;
  50         a)
  51             ARVADOS_DIR=${OPTARG}
  52             ;;
  53         w)
  54             WB2_DIR=${OPTARG}
  55             ;;
  56         *)
  57             echo "Invalid Option: -$OPTARG" 1>&2
  58             usage
  59             ;;
  60     esac
  61 done
  62 shift $((OPTIND-1))
  63
  64 if [ "${ARVADOS_DIR}" = "unset" ]; then
  65   echo "ARVADOS_DIR is unset, creating a temporary directory for new checkout"
  66   ARVADOS_DIR=`mktemp -d`
  67 fi
  68
  69 echo "ARVADOS_DIR is ${ARVADOS_DIR}"
  70
  71 ARVADOS_LOG=${ARVADOS_DIR}/arvados.log
  72 ARVADOS_CONF=${WB2_DIR}/tools/arvados_config.yml
  73
  74 if [ ! -f "${WB2_DIR}/src/index.tsx" ]; then
  75     echo "ERROR: '${WB2_DIR}' isn't workbench2's directory"
  76     usage
  77 fi
  78
  79 if [ ! -f ${ARVADOS_CONF} ]; then
  80     echo "ERROR: Arvados config file ${ARVADOS_CONF} not found"
  81     exit 1
  82 fi
  83
  84 if [ -f "${WB2_DIR}/public/config.json" ]; then
  85     echo "ERROR: Please move public/config.json file out of the way"
  86     exit 1
  87 fi
  88
  89 if [ ! -d "${ARVADOS_DIR}/.git" ]; then
  90     mkdir -p ${ARVADOS_DIR} || exit 1
  91     CLEANUP_ARVADOS_DIR=1
  92     echo "Downloading arvados..."
  93     git clone https://git.arvados.org/arvados.git ${ARVADOS_DIR} || exit 1
  94 fi
  95
  96 echo "Building & installing arvados-server..."
  97 cd ${ARVADOS_DIR}
  98 go mod download || exit 1
  99 cd cmd/arvados-server
 100 go install
 101 cd -
 102
 103 echo "Installing dev dependencies..."
 104 ~/go/bin/arvados-server install -type test || exit 1
 105
 106 echo "Launching arvados in test mode..."
 107 coproc arvboot (~/go/bin/arvados-server boot \
 108     -type test \
 109     -config ${ARVADOS_CONF} \
 110     -own-temporary-database \
 111     -timeout 20m 2> ${ARVADOS_LOG})
 112 trap cleanup ERR EXIT
 113
 114 read controllerURL <&"${arvboot[0]}" || exit 1
 115 echo "Arvados up and running at ${controllerURL}"
 116 IFS='/' ; read -ra controllerHostPort <<< "${controllerURL}" ; unset IFS
 117 controllerHostPort=${controllerHostPort[2]}
 118
 119 # Copy coproc's stdout to stderr, to ensure `arvados-server boot`
 120 # doesn't get blocked trying to write stdout.
 121 exec 7<&"${arvboot[0]}"; coproc consume_stdout (cat <&7 >&2)
 122
 123 cd ${WB2_DIR}
 124 echo "Launching workbench2..."
 125 WB2_PORT=`random_free_port`
 126 coproc wb2 (PORT=${WB2_PORT} \
 127     REACT_APP_ARVADOS_API_HOST=${controllerHostPort} \
 128     yarn start)
 129 exec 8<&"${wb2[0]}"; coproc consume_wb2_stdout (cat <&8 >&2)
 130
 131 # Wait for workbench2 to be up.
 132 # Using https-get to avoid false positive 'ready' detection.
 133 yarn run wait-on --timeout 300000 https-get://localhost:${WB2_PORT} || exit 1
 134
 135 echo "Running tests..."
 136 CYPRESS_system_token=systemusertesttoken1234567890aoeuidhtnsqjkxbmwvzpy \
 137     CYPRESS_controller_url=${controllerURL} \
 138     CYPRESS_BASE_URL=https://localhost:${WB2_PORT} \
 139     yarn run cypress ${CYPRESS_MODE}