Merge branch 'main' into 21359-rightclick-newproject-bug

refs #21359

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21361-excise-old-distros'

Closes #21361.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Upgrade workbenh2 Dockerfile to Debian 11

Thanks to Lucas' patch from
<https://dev.arvados.org/issues/21361#note-6>.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21370-process-search' refs #21370

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21304-user-update' refs #21304

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21304: Add a test

Confirmed this fails on main and passes on this branch

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21216-multiplier-typo-fix' refs #21216

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20318: Fix flaky test.

Hash in "put" test should not have changed to a hash+size locator in
commit ff3db3f54ab58f9f2d4578765438af41b2d2d550.

refs #20318

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch 'main' into 21370-process-search

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21427-collection-test-fix'

closes #21427

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21370: Put option for process search back, just don't enable it by default.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21359: corrected owneruuid passed to creatproject function Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21304: Handle user record updates with empty string username

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21417-keepdocker-oci-layout'

Closes #21417.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21427: modified visibility map check Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21429-remember-docker-state'

Closes #21429.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21417: Update arv-keepdocker for OCI-layout archives

Docker started saving image archives with this layout in version 25. Use
a more correct implementation that reads manifest.json as the archive
entry point and supports both layouts without branching.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21417: Clean arv-keepdocker imports

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21304: Check for nil from set_initial_username

If set_initial_username comes back as nil (this happens when calling
update_remote_user on a remote system user), don't set username in
'needupdate', in order to avoid a spurious user record update.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21427: applied rowselect to all processes panel Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21427: set last menu item to change only after transition Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21427: fixed toolbar transition between lengths Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21361: Update various random Docker tests to Debian 11

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Remove Debian 10 support from installer

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Modernize test script

* Update for Debian 11.
* Assume #16053 has been merged, as it has been for a while.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Add license headers

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Remove Ubuntu 18.04 exception from Salt installer

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Remove CentOS 7 exceptions from Salt installer

This does leave behind some exceptions that look like they're for CentOS
7 but I believe are meant to be exceptions for Red Hat-family distros
generally. That refinement can happen as part of #21425.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Fix comment typo

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Change variable names to match Go style

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Detect more Red Hat-family distros in installer

To support Rocky, Alma, etc.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Update support distros in compute image build script

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Remove SCL support from arvados-docker-cleaner ExecStart

This is no longer needed that we no longer support CentOS 7.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Remove StartLimitInterval from service units

CentOS 7 was the last distribution we supported with systemd this old,
and that ends with Arvados 3.0.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Update workbench2 package TARGETS

We no longer support centos7, debian10, or ubuntu1804.
We now support debian12 and ubuntu2204.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Remove ubuntu1804 dependencies from services/api package

We no longer support this distribution.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Expand distro detection in Salt installer

The immediate motivation for this is to detect Alma/Rocky/RHEL 8.
The way we do it is by reading both the ID and ID_LIKE values from
/etc/os-release. All these have "rhel" in either ID or
ID_LIKE. Similiarly, Ubuntu has ID_LIKE=debian. We're already reading
this file anyway; now we just use more of it.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21361: Remove unsupported distros from build scripts

After this, `git grep -e debian10 -e ubuntu1804 -e centos7 build`
returns nothing.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21392: Package build scripts require --target

Now that we no longer support debian10, it doesn't make sense as a
default. Rather than continue updating the default at arbitrary points
in time, remove it and require the user to specify their target.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21370: Remove workflows/container requests from federated search

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21427: changed spec to allow for delay in toolbar transition Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21427: process test passes Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Add comment to workaround while waiting for upstream to merge PR.

refs #21252

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21429: Remember and restore Docker service state

At least with systemd, which should cover all modern production
deployments. This makes the behavior of ensure-encrypted-partitions less
surprising in deployments where it runs in coordination with other
deployment scripts.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21427: adjusted toolbar margin to pass test spec Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21317-toolbar-overflow'

closes #21317

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21366-subprocess-output-loading-bug' into main. Closes #21366

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21317: overflow now toggles on and off at the same pixel Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21336: Add type checking to output data reducer instead of accepting any, fix
misalignments in payload type. Rename some properties for clarity to align with
passing in uuid in addition to output details to reducer.

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21317: fixed collapse occlusion Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21366: Display raw/JSON tab on subprocess even if empty while still guarding against undefined

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21394-docker-tag-push'

Also includes 21230-no-global-pip

This updates how certain dev/test environments install our Python
packages as well as some infrastructure around running the CWL
conformance tests.

refs #21230
refs #21394

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21394: Emit conformance badges json from test_with_arvbox

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21353-loginas-flaky-bug' into main. Closes #21353.

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '20318-disk-cache'

closes #20318

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Fix arvados-login-sync and arvados-cli dependencies.

Previous requirement '~> 2.7.0.rc1' excluded the current prerelease
version '2.8.0.dev20231214204948' that the test suite deliberately
installs ahead of time, so bundler overrode that and selected the last
released published version 2.7.1 from rubygems, which is not
compatible with Ruby 3.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21394: use /opt/arvados-py if present

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21394: Use v1.2.1 tag for CWL conformance tests

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20318: Update stale comments to match current error handling.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21394: Adjust how tags are pushed in build/run-build-docker-images.sh

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21379-user-activity-remote-collection'

fixes #21379

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21315: css tweaks Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21315: functionality to skip first hidden button in place Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21230: Update virtualenv in fed-migrate test

I don't believe this is strictly necessary, but `python3 -m venv` is
more likely to work than `virtualenv` and better matches all our other
code. Everything else is just style updates.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Add license header

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Update test_with_arvbox.sh to use arvbox virtualenv

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Refactor out pip_install_sdist function

This can be useful to supporting tooling like test_with_arvbox.sh.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21353: Add waitForDom in process spec

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21353: Add waitForDom to loginAs to wait before getting elements

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21353: Move url location check into waitUntil

It seems possible for window.location to be defined, then later undefined.
Moving the url location check should solve the problem by waiting for redirects
to be done.

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21353: Add cypress-wait-until to prevent cy.url before window.location is
defined in loginAs, fixes flaky test

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21230: Fix typo

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Update yml_override.py for PyYAML 6.0+

This tool gets called to update configuration files for other Arvados
services, so we're not expecting it to deal with any Python objects.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Activate virtualenv in arvbox doc service

Generating the PySDK docs needs to actually import pdoc, not just run
it. Given this, linking pdoc in /usr/local/bin/ is probably more
confusing than helpful, so don't.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Clean up directory state in arvbox doc service

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21285-installer-updates'. Closes #21285

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21285: Fixes worker & nofile calculations on nginx config.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21230: Fix binstubs generation in arvbox

At some point, bundle started installing binstubs in `bin/` by
default. Various pieces of arvbox assume they go in `binstubs/` and
break when they don't. Explicitly pass options to get the old behavior
where needed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Use virtualenv in arvbox

This is preparation to let us build arvbox on Debian 12, which has
adopted PEP 668 and doesn't permit installing packages outside a
virtualenv anymore.

This does move pdoc installation out of the doc service and into the
Dockerfile. The doc code currently doesn't have any way to version this
dependency, and it rarely changes in development, so this seems fine as
a code simplification.

All the code that tries to "pip install from cache only, then use the
network" is gone because as best I can tell it's already non-functional:
the pip cache isn't structured in the way that it assumes
anymore. Generally pip looks at what's installed in the virtualenv and
only installs what it *must* to satisfy dependencies, so this seems
fine.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21315-row-select'

closes #21315

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21317: increased checkbox hitbox size Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21366: Add unit tests to verify io panel doesn't get stuck showing spinner

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21366: Tweaks the condition for displaying io panel subprocess spinner

It no longer shows when there are input mounts or output collection to show.
Also fixes possibility of spinner and no results showing simultaneously.

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21316-left-panel-collapse'

closes #21316

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21379: Follow rules for federated list queries.

* cannot execute federated list query unless count=="none"

* cannot execute federated list query with limit (1) < nUUIDs (1),
  offset (0) > 0, or order ([created_at]) parameter

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21317: increased default toolbar width Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21317: set viewport width to 1920 in spec Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21317: reset all specs Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

20318: Avoid error when cache file is deleted while being written.

The previous code had one goroutine writing the cache file, and
another goroutine(s) waiting for it to finish, then opening the file
for reading. If the cache file was deleted before being opened for
reading, ReadAt would return an error.

The new code shares the writer's filehandle with all of the goroutines
that are waiting for it to finish writing. This ensures ReadAt can
always read from the newly written file even if it is deleted
mid-write.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21317: set viewport width in collection spec Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21317: tweak collection spec Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21317: tweak process workflow and collection specs Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21317: tweak project spec Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21230: Remove pip install from get-package-version

Reasons to remove this: it can't work on Debian 12+, and the code has
obviously gotten stale with its original rationale ('setuptools<45' is
definitely not "latest setuptools").

Nobody can tell me what context this runs in. I'm going to hope that it
runs in some context where setuptools is already available. If it turns
out I'm wrong, then hopefully that will break the build in a way that
lets me assess our options.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Clean up unnecessary Python packages from package build Dockerfiles

* python3-pip: `ensurepip` is standard as of Python 3.4+.
* python3-setuptools: We want to install this in our build
  virtualenv anyway.
* python3-virtualenv: python3-venv is sufficient.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Remove `pip install virtualenv` from package build Dockerfiles

Installing the python3-venv package is sufficient.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch 'main' into 21317-toolbar-overflow

refs# 21317

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

20318: Bypass disk cache in keep-rsync.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Fix tests that expect Get to work on bare hashes.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20318: Fix ornery tests that hang/panic instead of failing.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>