Merge branch '21366-subprocess-output-loading-bug' into main. Closes #21366

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21336: Add type checking to output data reducer instead of accepting any, fix
misalignments in payload type. Rename some properties for clarity to align with
passing in uuid in addition to output details to reducer.

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21366: Display raw/JSON tab on subprocess even if empty while still guarding against undefined

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21394-docker-tag-push'

Also includes 21230-no-global-pip

This updates how certain dev/test environments install our Python
packages as well as some infrastructure around running the CWL
conformance tests.

refs #21230
refs #21394

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21394: Emit conformance badges json from test_with_arvbox

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21353-loginas-flaky-bug' into main. Closes #21353.

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '20318-disk-cache'

closes #20318

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Fix arvados-login-sync and arvados-cli dependencies.

Previous requirement '~> 2.7.0.rc1' excluded the current prerelease
version '2.8.0.dev20231214204948' that the test suite deliberately
installs ahead of time, so bundler overrode that and selected the last
released published version 2.7.1 from rubygems, which is not
compatible with Ruby 3.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21394: use /opt/arvados-py if present

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21394: Use v1.2.1 tag for CWL conformance tests

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20318: Update stale comments to match current error handling.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21394: Adjust how tags are pushed in build/run-build-docker-images.sh

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21379-user-activity-remote-collection'

fixes #21379

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21230: Update virtualenv in fed-migrate test

I don't believe this is strictly necessary, but `python3 -m venv` is
more likely to work than `virtualenv` and better matches all our other
code. Everything else is just style updates.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Add license header

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Update test_with_arvbox.sh to use arvbox virtualenv

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Refactor out pip_install_sdist function

This can be useful to supporting tooling like test_with_arvbox.sh.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21353: Add waitForDom in process spec

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21353: Add waitForDom to loginAs to wait before getting elements

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21353: Move url location check into waitUntil

It seems possible for window.location to be defined, then later undefined.
Moving the url location check should solve the problem by waiting for redirects
to be done.

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21353: Add cypress-wait-until to prevent cy.url before window.location is
defined in loginAs, fixes flaky test

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21230: Fix typo

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Update yml_override.py for PyYAML 6.0+

This tool gets called to update configuration files for other Arvados
services, so we're not expecting it to deal with any Python objects.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Activate virtualenv in arvbox doc service

Generating the PySDK docs needs to actually import pdoc, not just run
it. Given this, linking pdoc in /usr/local/bin/ is probably more
confusing than helpful, so don't.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Clean up directory state in arvbox doc service

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21285-installer-updates'. Closes #21285

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21285: Fixes worker & nofile calculations on nginx config.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21230: Fix binstubs generation in arvbox

At some point, bundle started installing binstubs in `bin/` by
default. Various pieces of arvbox assume they go in `binstubs/` and
break when they don't. Explicitly pass options to get the old behavior
where needed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Use virtualenv in arvbox

This is preparation to let us build arvbox on Debian 12, which has
adopted PEP 668 and doesn't permit installing packages outside a
virtualenv anymore.

This does move pdoc installation out of the doc service and into the
Dockerfile. The doc code currently doesn't have any way to version this
dependency, and it rarely changes in development, so this seems fine as
a code simplification.

All the code that tries to "pip install from cache only, then use the
network" is gone because as best I can tell it's already non-functional:
the pip cache isn't structured in the way that it assumes
anymore. Generally pip looks at what's installed in the virtualenv and
only installs what it *must* to satisfy dependencies, so this seems
fine.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21315-row-select'

closes #21315

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21317: increased checkbox hitbox size Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21366: Add unit tests to verify io panel doesn't get stuck showing spinner

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21366: Tweaks the condition for displaying io panel subprocess spinner

It no longer shows when there are input mounts or output collection to show.
Also fixes possibility of spinner and no results showing simultaneously.

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21316-left-panel-collapse'

closes #21316

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21379: Follow rules for federated list queries.

* cannot execute federated list query unless count=="none"

* cannot execute federated list query with limit (1) < nUUIDs (1),
  offset (0) > 0, or order ([created_at]) parameter

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Avoid error when cache file is deleted while being written.

The previous code had one goroutine writing the cache file, and
another goroutine(s) waiting for it to finish, then opening the file
for reading. If the cache file was deleted before being opened for
reading, ReadAt would return an error.

The new code shares the writer's filehandle with all of the goroutines
that are waiting for it to finish writing. This ensures ReadAt can
always read from the newly written file even if it is deleted
mid-write.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21230: Remove pip install from get-package-version

Reasons to remove this: it can't work on Debian 12+, and the code has
obviously gotten stale with its original rationale ('setuptools<45' is
definitely not "latest setuptools").

Nobody can tell me what context this runs in. I'm going to hope that it
runs in some context where setuptools is already available. If it turns
out I'm wrong, then hopefully that will break the build in a way that
lets me assess our options.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Clean up unnecessary Python packages from package build Dockerfiles

* python3-pip: `ensurepip` is standard as of Python 3.4+.
* python3-setuptools: We want to install this in our build
  virtualenv anyway.
* python3-virtualenv: python3-venv is sufficient.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Remove `pip install virtualenv` from package build Dockerfiles

Installing the python3-venv package is sufficient.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20318: Bypass disk cache in keep-rsync.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Fix tests that expect Get to work on bare hashes.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Fix ornery tests that hang/panic instead of failing.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Fix settled condition.

Intention was to stop iterating when *all* of the keepstore servers
need 0 pulls, but the code as written stops on the N>1st iteration
when *any* of the keepstore servers need 0 pulls. This caused a false
negative when it took more than one iteration for keepstore to
complete the requested pulls.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Clean up some gocheck usage: Equals, Nil -> IsNil

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Route (*KeepClient)Get() through disk cache layer.

The updated implementation maintains the existing calling signature
but has some semantic differences:

The block size returned by Get is now -1 if the block size is not
indicated by the supplied locator. All locators generated by Arvados
include sizes, and Get() doesn't work on bare hashes because they have
no permission signature, so in practice this only comes up for test
cases and keepstore's pull worker.

The url returned by Get is now "" because
* in general it is not necessarily available in principle (data often
  comes from the cache instead of a backend server)
* in the cases where it is available in principle, it would be a lot
  of trouble to propagate it
* the only known reason to reveal the url is to provide detail about
  an error, in which case the error message should already include the
  relevant url.

In some cases where the upstream server responds 200 but an error is
detected early in the response content, Get() now returns the error
itself, where the old Get() implementation would have returned a
reader whose Read method returns an error.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Fix DiskCacheSize not propagated by (*KeepClient)Clone().

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Bypass disk cache in certain tests, keepstore, and keepproxy.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Propagate Close error from http backend.

This isn't known to happen, but if it does, it should propagate.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Fix BadChecksum error not propagated through cache layer.

Previously, ReadAt would not return an error as long as enough bytes
were read, because the error might mean the read was truncated after
the point needed for the current read. This had the unintended
consequence that even a BadChecksum error returned on the final read
would not be propagated.

The updated version propagates errors even if the requested bytes were
retrieved, so the only case where a bad checksum error can be
undetected is when the read does not reach the end of the block *and*
the block has not been fully retrieved yet.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Remove redundant WriteTo case already handled by io.Copy.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21367: Use --dist-dir option of setup.py sdist

Way cleaner and clearer. Refs #21367.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21367-arvados-jobs-update'

Closes #21367.
Refs #21230.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Prefer COPY to ADD

This avoids ADD's auto-extract behavior and helps keep the image a
little cleaner.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Explicitly install setuptools

Prepare for a PEP 517 world.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367/21230: Set up dev-jobs with virtualenv

The functional goal here is to do all pip installs inside the Dockerfile
inside a virtualenv to avoid the global pip install issues.

Changes that fall out of that:

* Installing python3-venv is all we need to go back to the -slim Debian
  image.
* Stop installing other Python packages we'll just install inside the
  virtualenv anyway.
* Rather than having separate arguments and code blocks for every
  package we might want to install, just set up a dedicated build
  context for the Docker image with all the packages we want to install,
  and install them all unconditionally during the image build. This is
  much less code and hopefully easier to follow.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Remove environment check

You only need for this for `arv-keepdocker` at the end of the process,
which can read from settings.conf just fine too. Even if it fails, the
developer will have the command handy to fix their environment and try
that again easily.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Remove debug print

Doubly redundant since we're using `set -x` here anyway.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21285: Updates overview dashboard to include concurrent reqs queue names.

At the moment we have 2 queues: "api" & "tunnel", I think this change will
allow the dashboard to adapt to potential new queues (instead of hardcoding
queue names in the query)

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20318: Fix bad compare / short read behavior in DiskCache BlockRead.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21367: Use regular bullseye instead of bullseye-slim

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Add arvbox check for fs.inotify.max_user_watches, refs #21349

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21367: Add arvados virtualenv to $PATH

This is both more user-friendly (now a-c-r itself is in $PATH) and a
cleaner implementation than the previous version.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Modernize apt key handling in arvados/jobs Dockerfile

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Remove debug prints

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Update arvados/jobs image to bullseye

Required for Python 3.7 deprecation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21285: Adds MaxGatewayTunnels' value to nginx's request queue size.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21258-flaky-adc-test'

fixes #21258

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21036-keep-balance-metrics'

fixes #21036

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21285: Adds max gw tunnels config to multi host installer.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20846-package-build-fixes'

Closes #21273.
Refs #20846, #21230.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21285-max-gw-tunnels'

refs #21285

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21315: fixed bug where a deselected item can still be shown in details panel Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21315: extended checkbox click area further Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21315: extended checkbox click area Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21315: rows now deselect properly, fixed some spelling errors Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

20318: Add comments about KeepClient/KeepGateway wiring.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21036: Test all balancerStats metrics.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20846: Use Python build variables more consistently

Rather than have the virtualenv process use its own python command,
ensure PYTHON3_EXECUTABLE points to a specific minor version, and use it
throughout the entire build process.

The changes to the virtualenv manipulation with sed are meant to clean
things up with fewer commands and tighter regexps, but not make any
functional change beyond referring to a specific minor Python version.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20846: Remove unused Python packaging constants

I believe these are remnants from when we packaged our modules for
system use, outside a virtualenv.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21273: Build rocky8 Python packages against python39

We can no longer support the Python 3.6 that ships with rocky8. Building
against the latest appstream release is the most straightforward way to
continue building packages for the distro.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21273: Remove support for unsupported distros

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20318: Fix nil pointer usage.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Update stale comment.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Note no-op defers in comments.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21316: adjusted margins so collapse button doesnt hide on small(er) screens Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21278-search-redirect' refs #21278

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21290-sync-past-versions' refs #21290

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21316: Merge commit '1416f698b72de4b09350d9c2fb25c1405c3247bc' into 21316-left-panel-collapse

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21128-toolbar-context-menu'

Merging branch copied from arvados-workbench2 repo

refs #21128

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21285: Document that only HPC dispatchers use tunnel slots.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21128: Merge commit 'adbbc9e3c7a36d39b30f403555ee5889e32adcc0' into 21128-toolbar-context-menu

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

20846: Update dpkg .so search to handle merged-/usr systems

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21200-breadcrumbs-issues'

closes #21200

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21200: removed vestigial virtual machines refs Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21258: Ensure at least one boot failure.

With the previous approach, it was possible for all containers needing
a type4 instance to finish, and a different instance type to report a
quota error and cause the scheduler to shut down the now-unneeded
instance, all before the "guaranteed broken" node reached
TimeoutBooting. In such a case it would not be counted as a boot
failure.

To avoid this, the new approach induces boot failures on *all* type4
instances until 2x TimeoutBooting intervals have passed.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20846: Python package build uses one specific Python version

This is meant to prevent all kinds of weird problems that can arise if
`python3` ever stops being the same version that we used to build the
package.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21036: Report remaining balancerStats as prometheus metrics.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20846: Remove module versions print

`pip install` writes this information at the end of the process. Writing
it again ourselves is redundant verbosity.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21316: collapsed sidebar splitter no longer moves when opening details panel Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

20846/21230: Remove Python transitional metapackages from the package build

The build process for this is relatively expensive (we set up a
dedicated virtualenv for each one) and not PEP 668-compliant (it tries
to upgrade packages globally). We don't need these packages anymore for
the Arvados 3.0 release. Stop building all of them.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>