18632: address review comments.

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

18632: fix missing docker's pillar in shell node

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

18632: fix docker pillar in provision script

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

Merge branch '18670-flaky-lsf-test'

fixes #18670

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18670: Fix abandoned job tracker during race.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '18678-custom-certs-keepstore-fix'

closes #18678

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18678: installer: when custom certs are used, do not abort when a role
       is used that does not require any certificates.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '18326-cuda-docs' refs #18326

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18326: Whitespace fixes

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '18487-vocab-config-check'. Closes #18487

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

18670: Fix unreliable test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18487: Logs vocabulary validating error messages along with other checks.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '18665-vscode-setup' refs #18665

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18665: Separate Set Host and Set Token steps

Being separated because the previous "paste the whole
contents of the dialog box" was actually more confusing than helpful.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Documentation tweaks for the Salt installer.

refs #18658

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '18658-fix-custom-certs-deployment-on-multi-host'

closes #18658
Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

18658: address review comments.

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

18658: ensure custom SSL certs are copied to the correct host dir

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

18658: update multi-host's nginx pillar to use rvm ruby on Ubuntu-18.04

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

18658: add missing state to deploy custom certs in multi-host env

Also, set the full path to the certs dir if not configured

Arvados-DCO-1.1-Signed-off-by: Javier Bértoli <jbertoli@curii.com>

Salt installer fixes:
* documentation: fix formatting
* multi-host aws example: remove AccessViaHosts from the config file, it
  is not necessary. Fix volume identifiers. Fix link to documentation by
  dispatcher key.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18487: Improves vocabulary documentation.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

18487: Fixes error reporting to include both JSON & vocabulary errors at once.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '18659-cast-devnum'

fixes #18659

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18659: Cast OS-specific device number type to uint64.

Fixes compile error on GOOS=darwin.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18487: Fixes error checking on nonexistant vocabulary file. Adds tests.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

18487: Improves vocabulary error checking, with tests.

* Adds JSON duplicated keys checking (json.Unmarshall silently accepts them).
* Adds line & column numbers to JSON syntax errors.
* Reports all detected non-syntax errors at once instead of returning on the
first one. (so that the site admin doesn't have to do multiple edit+check
cycles)

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

18487: Adds vocabulary check to 'arvados-server config-check'

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '18513-log-signal-exit'

closes #18513

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18513: Decipher status code in crunch-run.txt log.

Container exited with status code 137 (signal 9, SIGKILL)

Previously, docker mode just said "exited with code: 137" and
singularity mode didn't mention it at all.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '18624-document-compute-image-requirements'

closes #18624

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18624: implement review feedback.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18326: Update documentation to cover configuring GPU support

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18624: crunch-run no longer needs to be preinstalled on our cloud
       compute images, arvados-dispatch-cloud copies it over.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18624: documentation: describe the arvados-dispatch-cloud requirements
       for compute nodes.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '12630-nvidia-devices' refs #12630

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

12630: Log command line

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

12630: Tweak nvidia warnings

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

When installing the bundler gem in run-tests.sh, always use
--no-document

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

12630: Report errors from nvidia-modprobe & use Getenv

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '18324-lsf-gpu' refs #18324

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

12630: Fix test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch 'main' into 18324-lsf-gpu

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

12630: Fix usage of string.Split

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

12630: request both 'compute' and 'utility' nvidia capabilities

Add note about capabilities.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

12630: Call nvidia-modprobe, support CUDA_VISIBLE_DEVICES

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '17417-add-arm64'

refs #17417

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: Merge branch 'main' into 17417-add-arm64

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '18577-fix-back_url'

closes #18577

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18577: Merge branch 'main' into 18577-fix-back_url

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: address review comments.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Release branches were renamed.

closes #18249

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Bugfixes: doc: show the correct branch names for all the Salt install
methods.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '18323-cwl-gpu2' refs #18323

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17417: Merge branch 'main' into 17417-add-arm64

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: Merge branch 'main' into 17417-add-arm64

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Remove one more use of `go get` from run-library.sh.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18323: Fix test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18324: Incorporate BsubCUDAArguments.  update test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18323: Fix test

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18323: Fix to use cwltool:CUDARequirement

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

18577: workbench1: remove references to `redirect_to :back`, this
       stopped working in Rails 5.1.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: add --only-build flag to the
       run-build-test-packages-one-target.sh script.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: Because of debian bug #983477, libfuse-dev for arm64 does not
       install properly beside the amd64 version. This was fixed in
       debian11. Rather than making run-library.sh even more complicated
       by switching out libfuse-dev before every arm64 cross compiled
       build or by building a custom version of libfuse-dev, I disabled
       cross compilation the older Debian-based distributions we support.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: another optimization: instead of building the
       arvados-python-client sdist regardless of the value of
       $ONLY_BUILD, only do it when it is actually needed.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: fix bug to enable arm64 cross-compilation on amd64 for our go
       packages. Also make sure package testing works (at least for
       amd64).

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Remove deprecated use of `go get` from run-tests.sh. This should solve
the occasional surprise modifications of go.mod/go.sum.

No issue #

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: apparently the arm64 repos have a different url on Ubuntu.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: apply some shellcheck suggestions to build/run-build-packages.sh

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: remove libcloud pin, it is no longer used.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: preseed the go module cache in our package build images. This
       makes them (much) bigger, but it really speeds up a quick one-off
       package build.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: more refactoring: reduce use of global variables, move more code
       into wrapper functions in run_library.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18324: Adding BsubCUDAArguments WIP

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17417: refactor, reduce use of global variables.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '18562-preemptible'

fixes #18562

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17417: no cross compilation support on CentOS.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '18604-embed-config-default'

closes #18604

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17417: add native arm64 build support to our package build images. Add
       cross-compile arm64 build support to all our Debian and Ubuntu
       package build images (golang packages only).

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: Merge branch 'main' into 17417-add-arm64

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

Merge branch '17417-fix-wb1'

refs #17417

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18604: Require go1.17, use go:embed feature for config.default.yml.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17417: remove the coffee-rails gem dependency in wb1, and convert the
       two files where we used it to straight up javascript.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18562: Add upgrade note about new config key.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17417: make sure that there is enough of a config.yml file for the wb1
       package install test to find all potential issues.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: Merge branch 'main' into 17417-add-arm64

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18562: Rename config to AlwaysUsePreemptibleInstances.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18562: Update doc and config comments for UsePreemptibleInstances.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '17417-goodbye-to-mini_racer'

refs #17417

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: remove more unused gems from the API server gemfile.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: add native build support for aarch64 (arm64) for our Debian 11
       target. Also speed up the docker image build by telling RVM and
       bundler to use all available cores.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18562: Auto-enable preemptible when changing state to Committed.

(As opposed to during any update.)

Avoids a situation where a client creates a child CR with
preemptible=false, preemptible is automatically changed to true, but
then preemptible instances are removed from config, and the client
cannot change the CR state to committed without also explicitly
clearing the preemptible flag, because the automatically-enabled
preemptible flag is not allowed.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

17417: Testing if execjs is really needed.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

18562: Fix UsePreemptibleInstances behavior.

* Do not automatically set preemptible=true if there are no
  preemptible instance types available.

* Do not automatically set preemptible=true on a container request
  that has already been committed with preemptible=false.

* Do not reject updates to existing container requests with
  preemptible=true just because config has since changed and no longer
  enables it automatically.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18323: Revise in line with the cwltool version of this feature

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

17417: switch our Rails codebases from therubyracer to mini_racer.
       Remove old dependency on `less` and `less-rails` from WB1.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: add the scaffolding for multi-arch support for our Python
       packages. Cross-compilation for Python does not work yet, though
       native compilation on an arm64 system works now.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: when building the arvados-src, cwltest and libpam-arvados-go
       packages, respect the --only-build flag.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: add arm64 support for our golang packages, functional for Debian
       11 as of this commit.

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

17417: Merge branch 'main' into 17417-add-arm64

Arvados-DCO-1.1-Signed-off-by: Ward Vandewege <ward@curii.com>

18324: Add %G for GPU device count

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>