21146: Add last_log_id argument to PollClient.subscribe

This helps avoid a crash if `subscribe` returns a `PollClient` and then
the user calls `subscribe` with two arguments. I don't know whether
ignoring `last_log_id` is *correct*, but that's the current behavior,
and anything else is out of scope for the current ticket.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19825: Document arvados.events module

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21146: Migrate PySDK to websockets library

This library is more mature than ws4py. This commit introduces a new
EventClient implementation based on it while remaining API-compatible.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21146: Clean test_events imports

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21146: Clean arvados.events imports

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21146: Clean and sort PySDK install_requires

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20846-ubuntu2204'

refs #20846

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '20690-remove-wb1-from-installer'. Closes #20690

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20690: Improved wording on the upgrade notes.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21205-ensure-unique' refs #21205

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21205: Fix comment

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20846: Remove ref to nonexistent Alma 7.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20846: Add package repo codenames for new distros.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21205: Now adds the final part of the uuid to make the name unique

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21205: Fix typo

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '19830-pysdk-util-docs'

Closes #19830.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21211-pysdk-annotations'

Closes #21211.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21205: ensure_unique_name uses uuid

Instead of adding a timestamp, add the last 15 characters of the uuid.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20690: Installs everything except wb1 in the single host case.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20690: Documentation updates, upgrade notes added.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20690: Include the nginx snippets pillar, remove unneeded wb1 stuff.

Also, go back to using arvados-formula's main branch.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20690: Bring back the WorkbenchSecretKey config as a dummy value.

Also, make config-check non-strict, to support deprecated config knobs on the
config.yml file.
Eventually, the arvados-formula will require updating but we have to make sure
that a proper branch strategy is in use, as changing it now would break
existing deployments.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20690: Sets nginx snippets on its own pillar sls file.

Because we're not using the nginx passenger pillar on non controller nodes
anymore, we needed a way of requesting the ssl hardening snippet independently.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20690: Removes WORKBENCH_SECRET_KEY from config. Uses new formula version.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '20831-user-table-locks' refs #20831

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '18874-merge-wb2'

refs #18874

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18874: Add missing build step.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20831: Fix typo

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20831: Import sync and apply gofmt

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20831: DiscoveryDocument fn improvements

* Only cache discovery document for 1 hour
* rpc.Conn takes a mutex when working with discovery document
* Simplify a couple of cases where calling chooseBackend would always return conn.local

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21126-trash-when-ro'

closes #21126

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21137-rp-initiated-logout'

Closes #21137.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20831: Remove debug print and add error check

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21126: Update wording as suggested.

https://dev.arvados.org/issues/21126#note-20

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20846: Update Ruby install instructions.

* Remove "install from source" method.
* Change recommendation from "RVM" to "OS package if exists".
* Add missing dependencies in RVM method.
* Change example version from "2.7" (which currently selects 2.7.2) to "2.7.7"

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18874: Use services/workbench2 dir to serve wb2 in arvbox.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18874: Add yarn, update nodejs version to match lib/install.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18874: Show fpm results in debug mode.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18874: Fix regexp.

Now works with versions like 1.2.3~rc4.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

18874: Add workbench2 to package-building scripts.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21132-api-resources-fixes'

Closes #21132, #21136.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21132: Expand arvados.api_resources docstring with more detail about its purpose

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21137: Tighten TestEndSessionEndpointBadScheme check

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21137: Prefer early return per review comments

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21137: Remove id_token_hint from controller RP-initiated logout

In the current Arvados stack, it is not possible to provide the ID token
this parameter expects, because we do not retain it anywhere. The user's
authorization token will either be an OIDC access token or an Arvados
token generated when they logged in, so neither is suitable for use as
id_token_hint.

The spec says this parameter is RECOMMENDED but not REQUIRED, so
omitting it is the simplest option that should still meet functional
requirements.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '20690-remove-wb1'

refs #20690

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21211: Update arvados.safeapi Markdown style

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20846: Update setuptools, accommodate debian12 needs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21211: Annotate arvados.safeapi

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21211: Clean arvados.safeapi imports

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21211: Annotate arvados.retry

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21211: Clean arvados.retry imports

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21211: Annotate arvados.api

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21211: Clean arvados.api imports

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

18800: Add docstring to arvados.__init__

This is mostly intended to help orient people reading the web
documentation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19830: Clean imports in arvados.__init__

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19830: Clean run_test_server imports

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19830: Reorder arvados.util regexps

Keep regexps, then UUID regexps sorted alphabetically, then deprecated
regexps.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19830: Add docstrings to arvados.util

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19830: Update arvados.util._deprecated Markdown style

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19830: Clean arvados.util imports

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

19830: Move deprecated functions to the bottom of arvados.util

This makes the web documentation easier to navigate.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20846: Don't use pip to install virtualenv, just rely on OS pkg.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20846: Skip workbench package build.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20846: Add debian12 package target.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21201-doc-bundle-update'

Closes #21201.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20846: Fix shell command in env var.

With Ruby 3, something uses the MAKE var without the expected
shell-eval, so the number-of-processors trick stopped working.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

    make --jobs \$\(grep -c processor /proc/cpuinfo\) DESTDIR\=
    sitearchdir\=./.gem.20231120-15-fa6sx6 sitelibdir\=./.gem.20231120-15-fa6sx6
    clean
    make: invalid option -- 'c'
    Usage: make [options] [target] ...
    Options:
      -b, -m                      Ignored for compatibility.
      [...]

20846: Update fpm for Ruby 3 compatibility.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20846: Use Ruby 3.2.2 for ubuntu2204 packages.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20846: Merge branch '19213-ubuntu2204-support' into 20846-ubuntu2204

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21126: Update keep-balance admin doc page.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21126: Update faster-gc doc page with new keep-balance configs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21126: Update doc bundle.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21126: Merge branch 'main' into 21126-trash-when-ro

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21189-changeset-limit'

refs #21189

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21189: Improve wording in config comments and logs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20690: Determine postgresql version from psql command.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20831: Fix discovery doc

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21201: Update doc gems

Getting a new Zenweb gets a new kramdown which helps keep things working
on Ruby 3.x. I think.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20690: Merge branch 'main' into 20690-remove-wb1

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21132: Annotate API methods as returning a request object

This is a factual correction. Before this, it looked like the API
methods communicated with the API server and returned a response
directly, which is not true.

Unfortunately pdoc doesn't render the documentation for the
ArvadosAPIRequest.execute override. That's frustrating. I looked for
ways to coerce this but didn't find any. Hopefully the class docstring
gives users enough information about what they need to do. pydoc renders
it as expected, so I still think it's worth keeping.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21132: Note ArvadosAPIClient is a Resource

The real impact of this change is marginal, but it establishes a pattern
for documenting request objects, which will be more substantial.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21136: Use typing generics for builtins in api_resources

The immediate problem this solves is that using `list` unqualified as an
annotation causes pdoc to resolve it as the current class' `list`
method, which is not correct.

We could also specify `builtins.list`, but since it doesn't support
subscripting in Python 3.8, that generates a lot of noisy warnings right
now. So this solution is better for now, and we'll probably migrate to
`builtins.list` in the future.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20831: Don't panic on empty params

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch 'main' into 20831-user-table-locks

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20831: gofmt and discovery doc updates

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20846-ruby3'

refs #20846

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20831: Revert making IsAdmin and IsInvited a pointer

Now uses API server revision and the requesting user to decide whether
IsAdmin and IsInvited have valid values or not.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20690: Revert arvbox to debian 11 until lib/install can do Ruby 3.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21137: Support RP-initiated logout with OIDC

With OIDC, logout only has a permanent effect if it is done by the
OP. If a user attempts to logout with an OIDC token, and the OP provides
an endpoint to end the session, send the user there to help them
accomplish that.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

20690: Fix arvbox dependencies.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20831: Make the IsAdmin and IsInvited pointers so they are nullable

Required to correctly handle both where the API does or does not
return the is_admin and is_invited fields when updating from remote
user records.

Also added DiscoveryDocument to arvados.API

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20690: Remove workbench1 from arvbox.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20831: Add DiscoveryDocument to arvados.API

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

20690: Always direct user to wb2 for logs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20690: Remove workbench1 mentions in install/admin docs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20690: Remove wb1 webshell check in diagnostics.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20690: Remove obsolete SecretKeyBase configs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20846: Specify nodejs version without 'v' prefix.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

20831: Return is_admin and is_invited so batch updates work

Has backwards compatability issues that still need to be addressed.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>