21394: use /opt/arvados-py if present

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21394: Use v1.2.1 tag for CWL conformance tests

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21394: Adjust how tags are pushed in build/run-build-docker-images.sh

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21230: Update virtualenv in fed-migrate test

I don't believe this is strictly necessary, but `python3 -m venv` is
more likely to work than `virtualenv` and better matches all our other
code. Everything else is just style updates.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Add license header

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Update test_with_arvbox.sh to use arvbox virtualenv

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Refactor out pip_install_sdist function

This can be useful to supporting tooling like test_with_arvbox.sh.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Fix typo

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Update yml_override.py for PyYAML 6.0+

This tool gets called to update configuration files for other Arvados
services, so we're not expecting it to deal with any Python objects.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Activate virtualenv in arvbox doc service

Generating the PySDK docs needs to actually import pdoc, not just run
it. Given this, linking pdoc in /usr/local/bin/ is probably more
confusing than helpful, so don't.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Clean up directory state in arvbox doc service

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Fix binstubs generation in arvbox

At some point, bundle started installing binstubs in `bin/` by
default. Various pieces of arvbox assume they go in `binstubs/` and
break when they don't. Explicitly pass options to get the old behavior
where needed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Use virtualenv in arvbox

This is preparation to let us build arvbox on Debian 12, which has
adopted PEP 668 and doesn't permit installing packages outside a
virtualenv anymore.

This does move pdoc installation out of the doc service and into the
Dockerfile. The doc code currently doesn't have any way to version this
dependency, and it rarely changes in development, so this seems fine as
a code simplification.

All the code that tries to "pip install from cache only, then use the
network" is gone because as best I can tell it's already non-functional:
the pip cache isn't structured in the way that it assumes
anymore. Generally pip looks at what's installed in the virtualenv and
only installs what it *must* to satisfy dependencies, so this seems
fine.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Remove pip install from get-package-version

Reasons to remove this: it can't work on Debian 12+, and the code has
obviously gotten stale with its original rationale ('setuptools<45' is
definitely not "latest setuptools").

Nobody can tell me what context this runs in. I'm going to hope that it
runs in some context where setuptools is already available. If it turns
out I'm wrong, then hopefully that will break the build in a way that
lets me assess our options.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Clean up unnecessary Python packages from package build Dockerfiles

* python3-pip: `ensurepip` is standard as of Python 3.4+.
* python3-setuptools: We want to install this in our build
  virtualenv anyway.
* python3-virtualenv: python3-venv is sufficient.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21230: Remove `pip install virtualenv` from package build Dockerfiles

Installing the python3-venv package is sufficient.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Use --dist-dir option of setup.py sdist

Way cleaner and clearer. Refs #21367.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21367-arvados-jobs-update'

Closes #21367.
Refs #21230.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Prefer COPY to ADD

This avoids ADD's auto-extract behavior and helps keep the image a
little cleaner.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Explicitly install setuptools

Prepare for a PEP 517 world.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367/21230: Set up dev-jobs with virtualenv

The functional goal here is to do all pip installs inside the Dockerfile
inside a virtualenv to avoid the global pip install issues.

Changes that fall out of that:

* Installing python3-venv is all we need to go back to the -slim Debian
  image.
* Stop installing other Python packages we'll just install inside the
  virtualenv anyway.
* Rather than having separate arguments and code blocks for every
  package we might want to install, just set up a dedicated build
  context for the Docker image with all the packages we want to install,
  and install them all unconditionally during the image build. This is
  much less code and hopefully easier to follow.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Remove environment check

You only need for this for `arv-keepdocker` at the end of the process,
which can read from settings.conf just fine too. Even if it fails, the
developer will have the command handy to fix their environment and try
that again easily.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Remove debug print

Doubly redundant since we're using `set -x` here anyway.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Use regular bullseye instead of bullseye-slim

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Add arvbox check for fs.inotify.max_user_watches, refs #21349

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21367: Add arvados virtualenv to $PATH

This is both more user-friendly (now a-c-r itself is in $PATH) and a
cleaner implementation than the previous version.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Modernize apt key handling in arvados/jobs Dockerfile

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Remove debug prints

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21367: Update arvados/jobs image to bullseye

Required for Python 3.7 deprecation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21258-flaky-adc-test'

fixes #21258

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21036-keep-balance-metrics'

fixes #21036

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20846-package-build-fixes'

Closes #21273.
Refs #20846, #21230.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21285-max-gw-tunnels'

refs #21285

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21036: Test all balancerStats metrics.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20846: Use Python build variables more consistently

Rather than have the virtualenv process use its own python command,
ensure PYTHON3_EXECUTABLE points to a specific minor version, and use it
throughout the entire build process.

The changes to the virtualenv manipulation with sed are meant to clean
things up with fewer commands and tighter regexps, but not make any
functional change beyond referring to a specific minor Python version.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20846: Remove unused Python packaging constants

I believe these are remnants from when we packaged our modules for
system use, outside a virtualenv.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21273: Build rocky8 Python packages against python39

We can no longer support the Python 3.6 that ships with rocky8. Building
against the latest appstream release is the most straightforward way to
continue building packages for the distro.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21273: Remove support for unsupported distros

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21278-search-redirect' refs #21278

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21290-sync-past-versions' refs #21290

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21128-toolbar-context-menu'

Merging branch copied from arvados-workbench2 repo

refs #21128

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21285: Document that only HPC dispatchers use tunnel slots.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21128: Merge commit 'adbbc9e3c7a36d39b30f403555ee5889e32adcc0' into 21128-toolbar-context-menu

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

20846: Update dpkg .so search to handle merged-/usr systems

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21200-breadcrumbs-issues'

closes #21200

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21200: removed vestigial virtual machines refs Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21258: Ensure at least one boot failure.

With the previous approach, it was possible for all containers needing
a type4 instance to finish, and a different instance type to report a
quota error and cause the scheduler to shut down the now-unneeded
instance, all before the "guaranteed broken" node reached
TimeoutBooting. In such a case it would not be counted as a boot
failure.

To avoid this, the new approach induces boot failures on *all* type4
instances until 2x TimeoutBooting intervals have passed.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20846: Python package build uses one specific Python version

This is meant to prevent all kinds of weird problems that can arise if
`python3` ever stops being the same version that we used to build the
package.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21036: Report remaining balancerStats as prometheus metrics.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20846: Remove module versions print

`pip install` writes this information at the end of the process. Writing
it again ourselves is redundant verbosity.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20846/21230: Remove Python transitional metapackages from the package build

The build process for this is relatively expensive (we set up a
dedicated virtualenv for each one) and not PEP 668-compliant (it tries
to upgrade packages globally). We don't need these packages anymore for
the Arvados 3.0 release. Stop building all of them.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20846/21230: Modernize virtualenv setup in package building

This change sets up the virtualenv earlier, then does all work inside
it, starting with installing build dependencies, to comply with PEP 668.

A couple optimizations that were easy to do as part of this work:

* We install modules in as few pip commands as possible, to reduce
  the overhead of determining what's currently installed, what's
  available from PyPI, etc.

* Removed a special case for CentOS 7 that we no longer need.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20846: Migrate from pkg_resources to importlib in sdk/cwl

Now that we're deprecating Python 3.7, it's easy to rely on importlib
from the stdlib.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20846: Ensure packages directories and indexes are world-readable

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21258: Fix log message.

Reverts an unintentional logging change in
1875af9bcf4a1afe435176e952e63341a9ae9c03 from

msg="creating new instance" InstanceType="type8" ...

to

msg="creating new instance" InstanceType="{type8 providertype8 8 8589934592 0 0 0 0.984 false {  0}}" ...

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21290: Use update_all to efficiently sync past version records

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Fix misspelled configuration in doc AllowTrashWhileReadOnly -> AllowTrashWhenReadOnly

no issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21278: Remove the '/search.*' to '/search-results' redirect

It produces an infinite loop and I don't think the /search endpoint is
really compatible with the /search-results endpoint anyway, and it's
less likely for people to have old hyperlinks to search results than
to projects or collections.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Fix version displayed in workbench2.

refs #18874

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21059-signup-email' refs #21059

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21059: Fix "Arvado" typo.  Use URI::join.

Also delete some commented-out debug code.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21206-ws-requesting-container-uuid'

closes #21206

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21276-test-race'

fixes #21276

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21285: Propagate HTTP status code in tunnel setup error.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21206: Add test for property fields returned in log events.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21276: Fix unreliable test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20846/20690: Remove Workbench1 build in debian12/ubuntu2204

This applies the change from c7cf228372bee18d84b14fc4089a758bc157fe76 to
the debian12 and ubuntu2204 package build Dockerfiles.

Refs #20690, #20846. These branches were in development in parallel, so
the changes from the former weren't applied to the latter.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20846/21089: Update BRANCH support in debian12/ubuntu2204

This applies the change from 73cc3ce5feb6d22c40742c499db9c799aa5ff874 to
the debian12 and ubuntu2204 package build Dockerfiles.

Refs #21089, #20846. These branches were in development in parallel, so
the changes from the former weren't applied to the latter.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20846/18874: Update NodeJS/Yarn in debian12/ubuntu2204

This applies the change from c4d4088d3e7f3e3f896ed0bb482560ab702d5465 to
the debian12 and ubuntu2204 package build Dockerfiles. It uses a
slightly different yarn install recipe to avoid the "double ln" and
associated layer, but the end result is the same.

Refs #18874, #20846. These branches were in development in parallel, so
the changes from the former weren't applied to the latter.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Copyedit scoped token creation example

* Mark up user input
* Use zzzzz cluster id

No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Use full paths for API documentation links

Most of the cross-reference links in our documentation point to a
specific page. These links are unusual in that they point to a
directory. Lately the linkchecker has been intermittently complaining
about them:

  URL        `file:///tmp/workspace/developer-run-tests-doc-and-sdk-R/doc/.site/api'
  Name       `API documentation'
  Parent URL file:///tmp/workspace/developer-run-tests-doc-and-sdk-R/doc/.site/admin/scoped-tokens.html, line 306, col 576
  Real URL   file:///tmp/workspace/developer-run-tests-doc-and-sdk-R/doc/.site/api/
  Warning    [file-missing-slash] Added trailing slash to
             directory.
  Result     Valid: directory

This causes a test failure. Spell out the rest of the link to prevent
that. No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21285: Send all SSH and tunnel endpoints to tunnel queue.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21285: Update HPC dispatcher install docs, add upgrade note.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21285: Use separate request limit/queue for gateway tunnel requests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21200: cleanup Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21200: set proper breadcrumbs when nav from all users Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21200: deactivate sidepanel node on admin/shell access Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21200: cleanup Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21200: removed excess breadcrumb check Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21200: moved activatesidepaneltreeitem to loadvirtualmachine function Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21200: fixed shell access label and icon Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21200: select user always goes to profile page Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21200: rebase Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21200: select user always goes to profile page Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21200: <msg here> Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21200: copied branch from arvados-workbench2 Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21305-doc-maintenance' refs #21305

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21305: Refactor and respect do not track for GA

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21305: Refactor piwik and GA tracking a little bit

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21305: Add piwik and google analytics tracking to layout

This used to be a hidden branch that was cherry-picked called
"public-site-piwik", so this just brings it into the main branch to be
able to maintain it.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21305: Add meta robots noindex when current doesn't match latest

The goal is to get Google to only display results for the current
version of the documentation pages.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '19675-instance-types-panel' into main. Closes #19675

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

19675: Add instance types panel to collapsed side panel

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21128: fixed toolbar not scrolling Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21059: Fix tests as "inactive user" email is now tied to is_invited

Also adjust the text of active/inactive user emails a bit.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21059: Remote user status WIP

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21200: modified virtual machine int test Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21200: modified unit test Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21059: Testing email notification WIP

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19675: Update caniuse db

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>