sdk/cwl/test_with_arvbox.sh

   1 #!/bin/sh
   2 # Copyright (C) The Arvados Authors. All rights reserved.
   3 #
   4 # SPDX-License-Identifier: Apache-2.0
   5
   6 set -x
   7
   8 cwldir=$(readlink -f $(dirname $0))
   9
  10 if ! which arvbox >/dev/null ; then
  11     export PATH=$PATH:$cwldir/../../tools/arvbox/bin
  12 fi
  13
  14 reset_container=1
  15 leave_running=0
  16 config=dev
  17 devcwl=0
  18 tag="latest"
  19 suite=conformance
  20 runapi=containers
  21 reinstall=0
  22
  23 while test -n "$1" ; do
  24     arg="$1"
  25     case "$arg" in
  26         --no-reset-container)
  27             reset_container=0
  28             shift
  29             ;;
  30         --leave-running)
  31             leave_running=1
  32             shift
  33             ;;
  34         --config)
  35             config=$2
  36             shift ; shift
  37             ;;
  38         --tag)
  39             tag=$2
  40             shift ; shift
  41             ;;
  42         --build)
  43             build=1
  44             shift
  45             ;;
  46         --devcwl)
  47             devcwl=1
  48             shift
  49             ;;
  50         --reinstall)
  51             reinstall=1
  52             shift
  53             ;;
  54         --pythoncmd)
  55             echo "warning: --pythoncmd option is no longer supported; ignored" >&2
  56             shift ; shift
  57             ;;
  58         --suite)
  59             suite=$2
  60             shift ; shift
  61             ;;
  62         --api)
  63             runapi=$2
  64             shift ; shift
  65             ;;
  66         -h|--help)
  67             echo "$0 [--no-reset-container] [--leave-running] [--config dev|localdemo] [--tag docker_tag] [--build] [--suite (integration|conformance-v1.0|conformance-*)]"
  68             exit
  69             ;;
  70         *)
  71             break
  72             ;;
  73     esac
  74 done
  75
  76 if test -z "$ARVBOX_CONTAINER" ; then
  77    export ARVBOX_CONTAINER=cwltest
  78 fi
  79
  80 if test "$suite" = "conformance" ; then
  81   suite=conformance-v1.0
  82 fi
  83
  84 if test $reset_container = 1 ; then
  85     arvbox stop
  86     docker rm $ARVBOX_CONTAINER
  87     arvbox reset -f
  88 fi
  89
  90 arvbox start $config $tag
  91
  92 githead=$(git rev-parse HEAD)
  93
  94 arvbox pipe <<EOF
  95 set -eu -o pipefail
  96
  97 . /usr/local/lib/arvbox/common.sh
  98
  99 # Switch to the branch that the outer script is running from,
 100 # this ensures we get the right version of tests and a-c-r
 101 cd /usr/src/arvados
 102 git config --global --add safe.directory /usr/src/arvados
 103 git fetch -a
 104 git checkout -f $githead
 105
 106 if test $config = dev -o $reinstall = 1; then
 107   pip_install_sdist sdk/python sdk/cwl
 108 fi
 109
 110 set -x
 111
 112 # Starting with the 2.5.20241122133319 release of cwltest, it looks
 113 # for an entry point declared as cwltest.fsaccess and will use that
 114 # for file access.  As of 2024-11-25 arvados-cwl-runner publishes this
 115 # entry point so that cwltest uses CollectionFsAccess, allowing cwltest to
 116 # check that files exist in Keep.
 117 /opt/arvados-py/bin/pip install 'cwltest >=2.5.20241122133319,<3'
 118
 119 mkdir -p /tmp/cwltest
 120 cd /tmp/cwltest
 121
 122 if [[ "$suite" = "conformance-v1.0" ]] ; then
 123    if ! test -d common-workflow-language ; then
 124      git clone https://github.com/common-workflow-language/common-workflow-language.git
 125    fi
 126    cd common-workflow-language
 127 elif [[ "$suite" =~ conformance-(.*) ]] ; then
 128    version=\${BASH_REMATCH[1]}
 129    if ! test -d cwl-\${version} ; then
 130      git clone https://github.com/common-workflow-language/cwl-\${version}.git
 131    fi
 132    cd cwl-\${version}
 133    git checkout \${version}.0
 134 elif [[ "$suite" != "integration" ]] ; then
 135    echo "ERROR: unknown suite '$suite'"
 136    exit 1
 137 fi
 138
 139 if [[ "$suite" = "conformance-v1.1" ]] ; then
 140    git checkout main
 141 fi
 142
 143 if [[ "$suite" = "conformance-v1.2" ]] ; then
 144    git checkout v1.2.1
 145 fi
 146
 147 #if [[ "$suite" != "integration" ]] ; then
 148 #  git pull
 149 #fi
 150
 151 export ARVADOS_API_HOST=localhost:8000
 152 export ARVADOS_API_HOST_INSECURE=1
 153 export ARVADOS_API_TOKEN=\$(cat /var/lib/arvados-arvbox/superuser_token)
 154
 155 if test -n "$build" ; then
 156   /usr/src/arvados/build/build-dev-docker-jobs-image.sh
 157 fi
 158
 159 EXTRA=--compute-checksum
 160
 161 if [[ $devcwl -eq 1 ]] ; then
 162    EXTRA="\$EXTRA --enable-dev"
 163 fi
 164
 165 env
 166
 167 arvados-cwl-runner --version
 168 cwltest --version
 169
 170 # Skip docker_entrypoint test because it fails on singularity
 171 #
 172 # Skip timelimit_invalid_wf test because the timeout is very short
 173 # (5s) and singularity containers loading off an arv-mount take too long
 174 # to start and get incorrectly terminated
 175 #
 176 # Skip test 199 in the v1.1 suite because it has different output
 177 # depending on whether there is a pty associated with stdout (fixed in
 178 # the v1.2 suite)
 179
 180 if [[ "$suite" = "integration" ]] ; then
 181    cd /usr/src/arvados/sdk/cwl/tests
 182    exec ./arvados-tests.sh $@
 183 elif [[ "$suite" = "conformance-v1.2" ]] ; then
 184    exec cwltest --tool arvados-cwl-runner --test conformance_tests.yaml -Sdocker_entrypoint --badgedir /tmp/badges $@ -- \$EXTRA
 185 elif [[ "$suite" = "conformance-v1.1" ]] ; then
 186    exec cwltest --tool arvados-cwl-runner --test conformance_tests.yaml -Sdocker_entrypoint,timelimit_invalid_wf -N199 --badgedir /tmp/badges $@ -- \$EXTRA
 187 elif [[ "$suite" = "conformance-v1.0" ]] ; then
 188    exec cwltest --tool arvados-cwl-runner --test v1.0/conformance_test_v1.0.yaml -Sdocker_entrypoint --badgedir /tmp/badges $@ -- \$EXTRA
 189 fi
 190 EOF
 191
 192 CODE=$?
 193
 194 docker cp -L $ARVBOX_CONTAINER:/tmp/badges $cwldir/badges
 195
 196 if test $leave_running = 0 ; then
 197     arvbox stop
 198 fi
 199
 200 exit $CODE