21541: Code cleanups

* Remove the gc threshold change
* Add/improve comments
* Use "truthy" tests instead of len(foo) > 0

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21541: Fix typo

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21541: Revert change to safeapi.py

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21541: Code cleanup and additional memory usage improvements

* Add slots to major Directory classes

* Disconnect FuseArvadosFile from ArvadosFile to reduce cyclic
references.

* Clean up _remove_inode loop and use dataclasses for the inode
operations.

* Now calls del_entry on collection_record_file and project_object_file.

It looks like collection_record_file was holding a reference to the
Collection object (and was remaining in the inodes table) even when
CollectionDirectory was cleared.  I believe this is the memory leak I
have been looking for.

* Remove the "dead" flag and set parent_inode to None instead.  This
clarifies the behavior that directory entries keep their (numeric)
inodes until they are detached from the directory which may have
contributed to infrequent "file not found" errors.

* Adjust cache behavior to only hold objects that are cache-eligible
and have non-zero cache_size.  This avoids filling the cache with
entries that are just going to be skipped over.

Overall: Memory usage is mostly stable but does tend to creep up over
time.  My best guess is that this is forced because we need to keep
inodes in RAM as long as the kernel maintains a reference to them, so
with multiple processes accessing different filesystem locations, this
is simply RAM required for the working set.

I'm also cautiously optimistic that issues I observed with performance
slowing down with long-lived processes are improved (e.g. fixing
memory leaks means no more unbounded growth of cache_entries, which
means no more time wasted iterating over huge lists).

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch 'main' into 21541-arv-mount-keyerror-rebase refs #21541

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '20455-noopener' refs #20455

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21597-cypress-reply-fix' into main. Closes #21597

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

2960: Remove unused code.

refs #2960

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21449-lsf-maxruntime'

closes #21449

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21165-installer-uninstalls-wb1'. Closes #21165

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21597: Use req.on('reply' instead of req.reply to workaround cypress bug

https://github.com/cypress-io/cypress/issues/26248#issuecomment-1623005400

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21541: Adjust dependency to arvados-llfuse fork

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21541: Fix KeyError, segfaults, and memory use issues

* Fixes a segfault on startup due to multiple threads fetching the
cluster config using the same http2 object, which is not threadafe.
Now fetches the relevant configuration
item once (ForwardSlashNameSubstitution), and stores it where all the
threads can access it.  (bug #21568)

* Fixes KeyError thrown where a parent inode is removed from the
inodes table before its children.

* In the process of testing, re-discovered a bug where, if the llfuse
_notify_queue fills up, the entire mount process deadlocks.

The previous fix worked by monkey-patching llfuse to replace a
limited-length queue with an unlimited length queue, however changes
in subsequent llfuse versions caused that variable to be hidden from
Python (so the monkey patch didn't fail but it no longer had any
effect either).  The solution is to introduce an additional
unlimited-size queue in between the operation handlers and the
limited-size kernel notification queue.

* Because cache management and inode cleanup interact with kernel
notifications (which were moved into a separate thread), I decided
they should also be asynchronous from the operation handlers, so they
are now part of the same thread that processes kernel notifications.

* Attempting to remove an inode that is in use will now at minimum
send a kernel invalidation, which will sometimes nudge the kernel to
forget the inode, enabling us to remove it.

* Filter groups now check if the filter group contains itself so it
doesn't create an infinite path loop that breaks filesystem traversal
tools.

* In the process of testing, found that llfuse didn't wait for the
_notify_queue to drain before closing the FUSE channel, resulting in a
segfault if the _notify_loop thread tried to process any events after
shutdown started.  This bug cannot be worked around on the Arvados
side, so I have prepared an arvados-llfuse fork with a bug fix.

* Testing with arv-mount-stress-test (which creates 8 subprocesses that all
traverse the filesystem at the same time) now passes with no
filesystem errors, no deadlocks, no segfaults, and modest memory
usage.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

sdk services installs crunchstat-summary refs #19744

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Reorder python install steps to address dependency issue.

refs #19744

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19744: Reorder python install steps to address dependency issue.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21507-long-project-title-wrap'

closes #21507

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21165: Uninstalls WB1 from single host installations too.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21165: Adds extra state to uninstall wb1's package from workbench node.

I opted for specifically uninstalling the package instead of adding the
arvados.workbench.package.clean state, because that state also removes
packages that might be needed for other services.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21449: Fix ordering in "install deps".

"install sdk/cli" is meant to use the current version of the arvados
gem from this checkout, but that can only happen if "install sdk/ruby"
runs first.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21507: tweaked banner test Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21449: Propagate max_run_time to LSF scheduler.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21123-scheduling-status'

closes #21123

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21123: Add comment re arv-mount dependency.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21507: cleanup Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21507: expanded nowrap to all of the places it should apply Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21507: removed word wrap on collection owner field Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21585-installer-imdsv2'. Closes #21585

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21123: Add arv-mount to "install deps".

lib/controller integration tests need it to run containers.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21585: Updates installer's Terraform code to require IMDSv2 on service nodes.

Applying this change to an already working cluster won't recreate any resource,
just change the settings in place.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21123: the empty string -> an empty string

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21123: Add container_status to discovery doc.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21123: Define scheduling status values as consts.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21123: Rename sQueue* to schedQueue*.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21123: Clarify empty means empty string.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '15317-metrics'

closes #15317

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15317: Update help text to link to new wiki page.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21461-excessive-scrollbars-fix'. Closes #21461

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

15317: Rename limiting -> apparent speed, link to explanation.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15317: Tweak size ranges so they include the nominal size.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch 'main' into 21461-excessive-scrollbars-fix

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

15317: Replace comment with better variable name.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15317: Fix missing blank line between funcs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Add missing table header to documentation include

No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21221-groups-panel-member-count' into main. Closes #21221

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch 'main' of git.arvados.org:arvados into 21221-groups-panel-member-count

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '19744-acr-crunchstat' refs #19744

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21123: Fix inadvertent use of run-tests db in dispatcher tests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21123: Check container status in integration tests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21123: Add container_requests/{uuid}/container_status endpoint.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21123: Add container status API to cloud dispatcher.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21461: Improves memory management when running tests in "open" mode.

This couple of settings improve both Electron & Firefox behaviors when
running in "interactive" (open) mode.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21461: Makes properties' test behave better on Firefox.

Also, only enable clipboard-related tests on electron.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21461: Upgrades Cypress & caniuse-lite to latest.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21504-arv-mount-reference'

Refs #21504.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Clean up default tested package list

I was referring to this list while filing a bug and happened to notice
the redundant `keep-block-check` and `keep-rsync` entries. These caused
duplicate work during the package-build Jenkins jobs. No issue #.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21552-ebs-autoscale-update'. Closes #21552

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

20455: Use noopener everywhere on links and window.open

I removed "noreferrer" as this does something different (it prevents
passing the "Referer" header when opening the new URL).  It's not
clear users benefits from suppressing the information that they
navigated to a link from workbench.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21494: Bugfix incorrect method name

Refs #21494.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21221: Add unit test for failed group member count request

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21221: Add unit tests for groups panel middleware to verify loading
itemsAvailable into store

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21221: Add unit tests for GroupMembersCount renderer with loading indicator

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21221: Use div wrapper in GroupMembersCount loading typography to quiet warning

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21221: Move GroupMembersCount to renderers for easier testing

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21552: Updates autoscale-ebs commit hash to install the latest fix.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21221: Fetch count of group members in groups panel and store with resource.

Also adds an inline loading spinner while the request is in flight

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '2960-keepstore-streaming'

refs #2960

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

2960: Merge branch 'main' into 2960-keepstore-streaming

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19744: Update documentation

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21461: Adds config to enable the 'run all tests' option in the UI.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21552: Download & use newer ebs-autoscale fork version with IMDSv2 enabled.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21552-force-imdsv2'

refs #21552
closes #21565

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

19744: Report steps with low utilization at end of workflow

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

19744: Remove specific recommendations

Still want to note inefficient CPU/RAM usage.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21552: Require IMDSv2 on ec2 compute instances.

As described at
https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/configuring-IMDS-new-instances.html

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21249-group-paging' into main. Closes #21249

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

19744: Add --enable/disable-usage-report

Now warns about under-utilized nodes.

Also code cleanup from review.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21249: Add unit tests to check group details pagination

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21386-project-loading-view'

closes #21386

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21249: Implement paging for group members panel and group permission list

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21386: feedback cleanup Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21416-email-options-doc' refs #21416

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21416: Typo fix plural to singular

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21224: cleanup Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21224: changed search results 404 message Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21224: changed pending icon to PendingIcon Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21224: removed dataexplorer component state Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21224: moved isNotFound fetching to data explorer Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21504: Add a table of contents to the arv-mount reference

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21504: Add an example arv-mount systemd service definition

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21504: Add an `arv-mount --exec` example

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21504: Start arv-mount reference

Mostly generated from `arv-mount --help`. The filters section is new.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21504: Consistently use backtick markup in arv-mount help

Mostly to make it easier to generate reference documentation, but it's
nice as-is too.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21504: Reorder arv-mount --mount-* options

For consistency with the previous section.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21504: Break out FUSE section of SDK reference

This includes modernizing the index:

* Fix the distro package name
* Update the list of C dependencies
* Copyediting throughout

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21504: Modernize SDK documentation tree

* Spell out "CLI"
* Remove long-gone page listing from CLI section
* Ditch the "v2" moniker from the Java SDK
* Alphabetize the less-mature SDKs

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21504: Modernize the SDK index

* Note these packages also include client tools.
* Highlight more mature SDKs. Attach caveats to the less mature ones.
* Update Workbench text for v2.

This is preparation to list most client tools here, and generally turn
the "SDK reference" into a "User reference."

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21504: Rewrite arv-mount help for more consistent style

Some key points:

* Prefer describing the effect with a phrase over a sentence
* Only use periods when there are multiple sentences
* Defaults in parentheses
* Consistent text where needed (particularly across --by-* and
  --mount-by-* options and different --unmount options)

We don't really have a style guide for documentation like this. I'm not
trying to establish one by fiat. I'd be open to discussing basically all
these points. But until that discussion happens, consistency is
valuable, so I'm using the rules that I tend to follow naturally.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21504: Refine arv-mount description and epilog

* Modernize the description.
* Remove outdated mode information.
* Move epilog to --exec help.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21504: Refine metavars for arv-mount options

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>