18657: Bind mount gems dir at new location

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18657: Only get lock on gem install / bundle install

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18657: What if we get rid of setting GEM_HOME entirely

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18657: Almost working again, stupid Ruby

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18657: Fix passenger-config not found by installing binstub & using that

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '18624-document-compute-image-requirements'

closes #18624

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18624: implement review feedback.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18624: crunch-run no longer needs to be preinstalled on our cloud
       compute images, arvados-dispatch-cloud copies it over.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18624: documentation: describe the arvados-dispatch-cloud requirements
       for compute nodes.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '12630-nvidia-devices' refs #12630

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

12630: Log command line

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

12630: Tweak nvidia warnings

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

When installing the bundler gem in run-tests.sh, always use
--no-document

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

12630: Report errors from nvidia-modprobe & use Getenv

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '18324-lsf-gpu' refs #18324

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

12630: Fix test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch 'main' into 18324-lsf-gpu

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

12630: Fix usage of string.Split

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

12630: request both 'compute' and 'utility' nvidia capabilities

Add note about capabilities.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

12630: Call nvidia-modprobe, support CUDA_VISIBLE_DEVICES

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '17417-add-arm64'

refs #17417

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: Merge branch 'main' into 17417-add-arm64

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '18577-fix-back_url'

closes #18577

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18577: Merge branch 'main' into 18577-fix-back_url

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: address review comments.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Release branches were renamed.

closes #18249

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Bugfixes: doc: show the correct branch names for all the Salt install
methods.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '18323-cwl-gpu2' refs #18323

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17417: Merge branch 'main' into 17417-add-arm64

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: Merge branch 'main' into 17417-add-arm64

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Remove one more use of `go get` from run-library.sh.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18323: Fix test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18324: Incorporate BsubCUDAArguments.  update test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18323: Fix test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18323: Fix to use cwltool:CUDARequirement

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18577: workbench1: remove references to `redirect_to :back`, this
       stopped working in Rails 5.1.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: add --only-build flag to the
       run-build-test-packages-one-target.sh script.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: Because of debian bug #983477, libfuse-dev for arm64 does not
       install properly beside the amd64 version. This was fixed in
       debian11. Rather than making run-library.sh even more complicated
       by switching out libfuse-dev before every arm64 cross compiled
       build or by building a custom version of libfuse-dev, I disabled
       cross compilation the older Debian-based distributions we support.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: another optimization: instead of building the
       arvados-python-client sdist regardless of the value of
       $ONLY_BUILD, only do it when it is actually needed.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: fix bug to enable arm64 cross-compilation on amd64 for our go
       packages. Also make sure package testing works (at least for
       amd64).

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Remove deprecated use of `go get` from run-tests.sh. This should solve
the occasional surprise modifications of go.mod/go.sum.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: apparently the arm64 repos have a different url on Ubuntu.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: apply some shellcheck suggestions to build/run-build-packages.sh

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: remove libcloud pin, it is no longer used.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: preseed the go module cache in our package build images. This
       makes them (much) bigger, but it really speeds up a quick one-off
       package build.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: more refactoring: reduce use of global variables, move more code
       into wrapper functions in run_library.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18324: Adding BsubCUDAArguments WIP

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17417: refactor, reduce use of global variables.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '18562-preemptible'

fixes #18562

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17417: no cross compilation support on CentOS.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '18604-embed-config-default'

closes #18604

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17417: add native arm64 build support to our package build images. Add
       cross-compile arm64 build support to all our Debian and Ubuntu
       package build images (golang packages only).

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: Merge branch 'main' into 17417-add-arm64

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17417-fix-wb1'

refs #17417

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18604: Require go1.17, use go:embed feature for config.default.yml.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17417: remove the coffee-rails gem dependency in wb1, and convert the
       two files where we used it to straight up javascript.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18562: Add upgrade note about new config key.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17417: make sure that there is enough of a config.yml file for the wb1
       package install test to find all potential issues.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: Merge branch 'main' into 17417-add-arm64

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18562: Rename config to AlwaysUsePreemptibleInstances.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18562: Update doc and config comments for UsePreemptibleInstances.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '17417-goodbye-to-mini_racer'

refs #17417

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: remove more unused gems from the API server gemfile.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: add native build support for aarch64 (arm64) for our Debian 11
       target. Also speed up the docker image build by telling RVM and
       bundler to use all available cores.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18562: Auto-enable preemptible when changing state to Committed.

(As opposed to during any update.)

Avoids a situation where a client creates a child CR with
preemptible=false, preemptible is automatically changed to true, but
then preemptible instances are removed from config, and the client
cannot change the CR state to committed without also explicitly
clearing the preemptible flag, because the automatically-enabled
preemptible flag is not allowed.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17417: Testing if execjs is really needed.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

18562: Fix UsePreemptibleInstances behavior.

* Do not automatically set preemptible=true if there are no
  preemptible instance types available.

* Do not automatically set preemptible=true on a container request
  that has already been committed with preemptible=false.

* Do not reject updates to existing container requests with
  preemptible=true just because config has since changed and no longer
  enables it automatically.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18323: Revise in line with the cwltool version of this feature

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17417: switch our Rails codebases from therubyracer to mini_racer.
       Remove old dependency on `less` and `less-rails` from WB1.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: add the scaffolding for multi-arch support for our Python
       packages. Cross-compilation for Python does not work yet, though
       native compilation on an arm64 system works now.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: when building the arvados-src, cwltest and libpam-arvados-go
       packages, respect the --only-build flag.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: add arm64 support for our golang packages, functional for Debian
       11 as of this commit.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: Merge branch 'main' into 17417-add-arm64

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18324: Add %G for GPU device count

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '18323-cwl-gpu' refs #18323

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18323: Document CUDARequirement

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '18321-gpu-instancetype' refs #18321

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18321: Fix tests

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '18325-cuda-azure-image'

closes #18325

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18321: Check runtime constraints md5 with/without empty cuda section

* config & API check format of DriverVersion and HardwareCapability
* crunch-run only pays attention to CUDA.DeviceCount
* update docs

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18325: adapt for naming differences in kernel/headers packages between
       Debian and Ubuntu.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18323: Fix the rest of the tests

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18323: Test refactor WIP

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18325: The nvidia apt repo link generation information at
       https://nvidia.github.io/libnvidia-container/ is wrong for
       Ubuntu, the dot needs to be stripped from the version number.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18325: also support building images with CUDA for Azure.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18321: Account for CUDA in container reuse

Also ensure reuse across versions when CUDA isn't being used.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18323: Add CUDARequirement to extension schema

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '18325-compute-image-cuda'

closes #18325

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18321: Add CUDARuntimeConstraints matching CUDAFeatures

Adjust CUDA version comparison.  Refactor tests.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18325: when using Nvidia GPUs on Debian 10, we need a newer Docker. Also
       fix use of the $SUDO variable in the base packer script and add a
       final call to `apt-get clean` to it.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18325: no debian11 packages yet for libnvidia-container-tools, use
       workaround to install experimental rc1 with debian11 support,
       when on debian11.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18325: use a bigger root volume while building the AMI on AWS.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18325: add support for Nvidia GPUs as an optional feature to our compute
       node image builder script, for AWS.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '18590-fix-discovery-doc'

closes #18590

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18590: Merge branch 'main' into 18590-fix-discovery-doc

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18590: the default value for uuid in the groups/contents api endpoint
       should not be expressed as `null` in the discovery doc, but as a
       string.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '18301-wb1-cancel-button-fix'. Closes #18301.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '18585-remove-java-sdk-v1'

closes #18585

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18585: Merge branch 'main' into 18585-remove-java-sdk-v1

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18585: actually remove the old Java SDK.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>