22127: frozen icon in tree now updates correctly

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: re-applied some changes from before reset

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: reset to previous, fixed progress bar updating and project-panel-run mapstate

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: fixed progressBar update

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: progress bar updates

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: removed getResourceFromState entirely

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: refactored getResourceFromState for memoization

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: progress bar now updates on filters change

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: applied getProperties, smoothed types

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: applied getResourceFromState in some places, memoized breadcrumbs

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22172: removed cast in collection panel

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22172: changed progressInicators to progressIndicator

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: fixed filter popover rerender

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: added trycatch to checkPresenceInFavorites and changed tree preventRerender

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: fixed first part of Favorites test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22172: memoized MPVPanelContent

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: Revert "22172: memoized mvpcontentcontainer"

This reverts commit d1c6b73a1500d4f76bdf9633e2eec4df7cff1f25.

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: adjusted tree preventRender function

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: added shouldComponentUpdate to project panel

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22172: memoized tree component

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22172: memoized mvpcontentcontainer

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22172: fixed mstoolbar rerender

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22172: memoized multiselect toolbar buttons

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22172: getResource memoized, other minor optimizations

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22172: moved context menu from component to e2e test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22172: passed user-profile test by memoizing filtered action results

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: fixed process tests

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22172: fixed group-details-panel shouldComponentUpdate

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22172: fixed isWritable checking

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: changed context menu items to accept direct resource argument

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: fixed banner test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: moved Tree instanciation inside Tree component

* this prevents >2k unecessary rerenders

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: changed contextMenu to lazily load

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: refactored more mapStates

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: sorted project panel mapStates

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: fixed inactive-panel test

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: removed calculations from Process-Panel mapState

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: removed calculations from process-details mapState

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22172: removed calculations from more mapStates

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: refactored collection=panel to remove calculations in mapState

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: fixed mapState in IllegalNamingWarning

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: fixed mapState for subprocess progress bar

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: removed calculation from mstoolbar mapState

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: finished removing caclulations from mapState for main-panel

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: fixed router prop in main-panel

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: refactored progressIdnicators to minimize recalculations

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: refactored login-panel to minimize recalculation

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: revised collection-panel to minimize state calculations

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: refactored group-details-panel to minimize rerenders

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: refactored collection-panel to minimize rerenders

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: refactored a few mapState functions

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: added promise stagger to process progress bar

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: removed unused props from MainContentBar

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: removed unused sidePanelIsCollapsed prop form mainappbar

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: expanded rerender datatable requisites

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

22127: made first optimization pass

* added shouldComponentUpdate to data-table
* refactored sidePanel treepicker

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Revert "Merge branch '22159-data-explorer-refactor'"

refs #22127

This reverts commit c4b8ec2500d68e3e4f819d45bc9605cee85e268b, reversing
changes made to f6b110bbce72dfb1febe2d0cb596050db07ba1c8.

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22434-spot-check-warning'

fixes #22434

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22434: Reword spot check error message: "inconclusive".

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22411-keepstore-index-timeout'

fixes #22411

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22434: Fix spot check error message that lies about retrying.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22431-tunnel-log-spam'

fixes #22431

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22431: Add comments about runTunnel return value.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '22428-run-tests-targets'

Refs #22428.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22431: Remove spammy/debug logs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22434: Reword spot check error messages to be less spooky.

Also, update logic to avoid emitting confusing logs/runtime_status if
we get an interruption notice followed by an error.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22428: Guard target list against undefined/incorrect WORKSPACE

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22428: Better anchor excluded test function regexp

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22411: Fix hardcoded port number in test.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Update Hijack usage in websocket server.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Do not apply RequestTimeout to keepstore index handler.

This updates our code to account for the ResponseController pattern
(see https://tip.golang.org/doc/go1.20#http_responsecontroller):

Update prometheus client library to a newer version whose middleware
supports Unwrap.

Use http.NewResponseController(w).Hijack() instead of probing for the
Hijack() interface.

Use a explicit function call to disable the request timeout when
needed, instead of magically detecting whether the connection has been
hijacked.

(Our old way of detecting hijacking doesn't work if it's done via
ResponseController.  Since we're adding an explicit "disable timeout"
mechanism anyway, it's much simpler to just write "hijack and cancel
timeout" when needed, rather than implement a new way to detect
hijacking.)

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22411: Test that keepstore index is exempt from RequestTimeout.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

22428: Make run-tests.sh target lists complete

* Remove the static target list from helpmessage.

* Move all top-level code below all function definitions so it's easier
  to follow the flow of execution.

* Automatically generate testfuncargs based on defined test functions.

* Use testfuncargs as the source of available targets.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Restore libgnutls28-dev to ubuntu2004 Docker image

On this distro only, libgnutls28-dev is required to build pycurl. We can
build without it on every other distro. Refs #22318.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22318-ansible-test-node'

Refs #22318. Closes #22335.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add `become: yes` to privilege-nspawn-vm

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove s3cmd from deps.go

run-tests.sh already installs it in a virtualenv, which is easier and
more reliable.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove obsolete dependencies from various builds

The rationale for all these removals is in
6a2b9dfc3813a4086c71dce9a8732789262fb27f.
This commit just removes the same dependencies from other build processes.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22159-data-explorer-refactor'

closes #22159

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '22424-api-package-version-test'

Closes #22424, #22425.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22407-railsapi-rubyopt'

Closes #22407, #22423.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Disable syntax_suggest in RailsAPI

This feature was added in Ruby 3.2. The rationale for disabling it is
the same as for the other error extension features we've disabled.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22159: removed unused resources param

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Downgrades additional gems to regain ruby2.7 compatibility. Refs #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Downgrades nokogiri to a ruby 2.7 compatible version. Refs #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22424: Write dedicated tests for packageVersion schema

This exercises the intended behavior more thoroughly, and avoids a
failure in case packages have been built in the work tree before.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Add test that Passenger disables exception gems

See previous commit's message for detailed rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22407: Disable exception extension gems for RailsAPI

The API server sometimes includes raw exception messages in error
responses. In production, we do not want these messages to be extended
with development information. This avoids leaking more information than
intended, keeps messages more consistent for clients, and improves
performance.

Given that we want this in production, we also want this behavior for
integration tests, so clients under test see behavior from the API
server that's as close to production as possible.

Setting RUBYOPT in Passengerfile.json is the single place that ensures
consistent behavior. If a developer ever wants these features turned
back on during API server development, they can do so by running
`passenger --envvar=RUBYOPT=`.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Install s3cmd in run-tests

This is easy to do and lets us run more tests.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Remove obsolete checks from run-tests

* gnutls.h: You need a TLS backend for curl, but the specific one
  doesn't matter. We already check for curl; the odds that the user
  installed one without TLS are near-zero (Debian doesn't package
  one by itself).

* libattr1: This used to be required for llfuse (required by
  services/fuse), but they have since switched to sys/xattr.h
  provided by glibc.

* graphviz: Used to be required by Workbench 1.

* pandoc: I guess this was required to generate R SDK documentation,
  but it isn't anymore.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22318: Add r-cran-testthat test dependency

A test dependency, rather than a build dependency, of sdk/R.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '22422-dependencies-update'

closes #22422

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22318: Introduce playbook to add privileges to a systemd-nspawn VM

See comments for explanation.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22422: Upgrades RailsAPI's dependencies to the latest versions

Addresses some potential security issues:

* actionpack: CVE-2024-47887, CVE-2024-41128, CVE-2024-54133
* actiomailer: CVE-2024-47889
* actiontext: CVE-2024-47888
* rails-html-sanitizer: CVE-2024-53989, CVE-2024-53987, CVE-2024-53988,
  CVE-2024-53986, CVE-2024-53985

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22422: Upgrades github.com/golang-jwt/jwt/v4 to address CVE-2024-51744

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22318: Introduce playbook to build a Debian VM from scratch

See comments for background.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22422: Upgrades golang.org/x/net to address CWE-770

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22422: Upgrades golang.org/x/crypto to address CVE-2024-45337

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

22318: Configure FUSE with user_allow_other in test environments

Since Crunch relies on it, and we run Crunch in the tests, we need it
here too.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

22159: replaced Resource with ProcessResource and aligned related types

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>