Merge branch '21207-pytest'

Closes #21207, #21733.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21635-banner-test-fix' into main. Closes #21635

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21207: Move FUSE test abort logs into pytest exit message

Since pytest doesn't display live logs, they're no longer helpful. We
could configure pytest to display live logs, but overall just moving the
information to the exit message seems like a cleaner solution.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21207: Abort FUSE tests with exit status 2

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21635: Add checks to wait for banner to close in tooltip test

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21207: Abort test runs with pytest.exit

This lets pytest better report the problem versus an un-handle-able
SIGKILL.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21207: Update example test selection for pytest

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21383-misc-fixes'. Refs #21383

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21383: Adds http_endpoint="enabled" to Terraform's ec2 instances code.

Although the documentation states that it's enabled by default, I was getting
an error like this:

Error: creating EC2 Instance: InvalidParameterValue: A value of '' is not valid for HttpEndpoint. Specify either 'enabled' or 'disabled' and try again.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21207: Run Python tests with pytest

This gets us away from a deprecated setup.py invocation, and provides
richer test authoring and result reporting facilities.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21207: Remove Python slow/short tests support

After the previous commit there are no more users of this, and this
interface will no longer be supported after our migration to pytest. If
we want this functionality in the future we should set up a custom
"slow" mark in pytest and use pytest's built-in mark filtering.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21207: Remove FUSE performance tests

None of these tests have been running as intended. The `slow_test`
decorator is written incorrectly such that the return value of
`unittest.skipIf` *replaces* the test method rather than *wrapping* it.

We just did a round of serious performance improvement on FUSE and
literally nobody looked at this code or tried to track down the
profiling results it produces.

I'm not opposed to performance tests on principle. But these tests
aren't that, they just generate some profiling results and then spend a
bunch of time running various checks on the manifest that arv-mount
generated.

Remove them to save runtime and make it easier to run tests under
pytest. We can always write better performance tests later if we want.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21207: Rename CWL standalone test functions

These functions are not picked up by the unittest runner (since they're
not TestCase methods) but are picked up by pytest (since they start with
test_*). Rename them to retain existing behavior across test runners.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21207: Set up MockedPut._state with a deepcopy

Otherwise its internal state could get into EMPTY_STATE and contaminate
other tests.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '15397-remove-obsolete-apis'

refs #15397

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15397: Merge branch 'main'

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '12430-output-glob'

closes #12430

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21356-clean-imports'

Closes #21356.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21717-keepstore-cors'

fixes #21717

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21642-io-panel-collection-tab-bug' into main. Closes #21642

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21700: Remove package-test-dockerfiles/Makefile instructions

This Makefile was removed in 792a7d47b560d4aa80e2cb8a933a11e02e3109b3
because it only supported RVM, so there's no more need to update it.
Refs #21700.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

15397: Remove checks for nodes and repositories endpoints.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15397: Fix python tests relying on removed APIs/fixtures.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15397: Move deprecated API links to old version of doc site.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15397: Remove code, configs, and docs for hosted git repo feature.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15397: Remove obsolete APIs.

jobs, job_tasks, pipeline_instances, pipeline_templates, nodes,
repositories, humans, specimens, traits.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15397: Silence nginx log noise like "closed keepalive connection".

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21717: Fix incorrect header.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

12430: Add more glob unit test cases.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

12430: Add comments about the two stages of glob-filtering.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

12430: Avoid loading collections excluded by globs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21356: Remove all Python 2/3 compatibility imports

This includes noop imports from __future__ and builtins, as well as
imports from the future and six compatibility libraries.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21642: Fix unit tests to account for hidden instead of absent tab content

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21642: Change conditionaltabs to render tabs as hidden to avoid re-renders

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21642: Update caniuse

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

12430: Add test for avoiding loading collections excluded by globs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

12430: Expand output_glob documentation.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21700: Install Bundler system-wide in Rails postinst

This effectively reverts 7e2165a5b7561f0c84ede6ab4ae58003a1551a48 and
follow-ups. Other parts of our install process like test-provision
assume that the correct version of Bundler is installed system-wide
after installing arvados-api-server. So just do that and find the
`bundle` command after the fact. Refs #21700.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

14230: Comment about test coverage, add trailing-** case.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21721-refresh-python-deps'

Refs #21721.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21700-remove-rvm'

Closes #21700.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Tighten Gemfile.lock parsing

Avoid a bug if some subsection comes after `specs` under `GEM`.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Remove arvbox special case from run-tests.sh

This was already a noop after ed268e53d2014ce5c49301559a46e67660f1404c,
and I suspect it's no longer necessary now that we do a better job of
standardizing the Bundler version anywhere, thanks in part to the
version locking added in Bundler 2.3.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Modernize arvbox bundler install recipe

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21722-remove-chokidar' into main. Closes #21722

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21717: Allow cross-origin keepstore requests.

Also add some missing Allow-Header and Expose-Header entries to
keepproxy CORS headers.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21721: Remove sdk/cwl version pins

Both of these were set to work around limitations in the old pip
resolver. We have since standardized on the new one in our build
process, so they are no longer needed.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21721: Remove msgpack version pin

This was pinned to avoid an install bug in version 1.0.4. Newer releases
seem fine. See e2267bd9920.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21721: Remove pycurl version pin

This was originally pinned because of library conflicts on Debian 10,
which we no longer support. See commit
d655e2addaba4168f76fb7c4e2e9f6d649917bcc.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21721: Remove ruamel.yaml dependency

We import it a few times but never actually use it.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21721: Remove httplib2 and associated version pins

This whole stack was pinned to stay on an older version of
google-python-api-client, which has since been relaxed, and then keep
things working under the old pip resolver, which we've standardized off
of. Refs #18336.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21721: Remove google-auth version pin

Refs #18001. The original motivation for this pin is not
well-documented. My best guess is it was to retain Python 2.7 support,
which is no longer a concern.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21721: Remove tests_require=mock

unittest.mock in the stdlib is good enough for us.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21719-deps-security-updates'. Closes #21719

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21721: Clean various test imports for Python 3

This is not everything but cleans up files where I happened to notice
explicit version checks.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21721: Remove tests_require=pbr

This module is a setuptools plugin that requires activation to
use. We're currently not doing that, so it's completely unused and safe
to remove.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21719: Upgrades golang.org/x/net to 0.24.0

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21722: Remove node-sass-chokidar to fix security issues

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Merge branch '21697-slow-client-blocking'

fixes #21697

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21697: Fix typo.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21697: Comment why releaseSession func exists.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21696-slow-propfind'

fixes #21696

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21642: Add unit tests for conditional tabs, add test case for main process output collection

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21700: Fix option typo

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21697: Don't hold session lock while processing read requests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21700: Set GEM_PATH in Rails postinst

This is necessary to get the desired behavior in Ruby 2.7. Otherwise
Bundler gets installed somewhere else.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Adjust `gem fetch` syntax to work on Ruby 2.7

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21037-upgrade-react-scripts'

closes #21307

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21700: Narrow `bundle install` workaround options

This prevents `gem install` from resolving dependencies differently from
Bundler and creating its own set of problems.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21037: added eslintrc to gitignore Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21700: Install Bundler alongside bundled gems in Rails postinst

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Work around incomplete `bundle cache` bug

It seems like the problem I was working around for zlib 3.1.0 on Ubuntu
20.04 earlier can affect basically any gem at any step, if you happen to
already have the exact same version installed on the system. This commit
adds workarounds for all gems at all steps of the bundle setup.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21696: Comment optimized PortableDataHash func.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21696: Update test case & timing results for ill-packed manifests.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21696: Cache subpath->fnode lookups.

Avoids extra locks/lookups when loading non-contiguous chunks.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21696: Speed up PortableDataHash by not using regexp.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21696: Add test for non-contiguous file data segments.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21696: Fix slow loading of non-contiguous file data segments.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21700: Make workbench2 package respect --only-build

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Remove package-test-dockerfiles/Makefile

There's zero need for it after removing RVM.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Select more desired modules in rocky8 test Dockerfile

This prevents needless thrashing when the Dockerfile installs one set of
packages and then packages we test enable and reinstall a different
module stream.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Test the RailsAPI Bundler version

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Update the RailsAPI Bundler version

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Remove `bundle install` from package build Dockerfiles

This work is better done in the package build script. I suspect the
problem that it's trying to solve is better solved by isolating the
RailsAPI `vendor` directory as done in
0333f33a7413aadb7159563e0a7aa2a0a50acaec.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Standardize on Bundler~>2.4.0

These are the last versions to support Ruby 2.7, which we're still
supporting as I write this.

Our usual install recipe is:

  gem install --conservative --version '~> 2.4.0' bundler

In environments where we *know* we have Ruby 3, that becomes:

  gem install --conservative --version '>= 2.4.0' bundler

As long as we have something at least as recent as 2.4.0, that should be
enough for function. This recipe meets our functional needs while
striking a balance between being easy to implement and avoiding
redundant installs.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Remove RVM support

We haven't reliably tested this in a long time, and it's a lot of code
for no benefit.  In general we want to support the versions of Ruby that
come with the distributions we support. Anybody in a very weird case can
install a supported version of Ruby from source.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21700: Better isolate Bundler from the build source

This helps ensure that when we build the RailsAPI package with Bundler,
we don't accidentally pick up settings or files from the developer's
machine. This shouldn't matter when we build packages on Jenkins but
this makes it easier for developers to test package builds on their own
systems.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21606-keep-web-output-buffer'

closes #21606

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21383-salt-debian12'

Closes #21524, #21583, #21661.
Refs #21383.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21606: Document units for WebDAVOutputBuffer config.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21037: moved entire beforeall into beforeeach in auto-logaout spec Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21037: fixed timers in auto-logout spec Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21037: fixed search-input spec Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21037: removed stray whitespace in xml example Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21037: fixed auth-middleware test Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21642: Remove connect from main component and instead connect component that uses navigateTo

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21642: Deduplicate wrapper elements into helper components

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21642: Fix tab state misalignment by oursourcing tab state management

ConditionalTabs component ensures no state misalignments by displaying tab
content by indexing into the same array of tabs that are given to the tab bar

By grouping tab and contents, we can simply remove inactive tabs before trying
to figure out which contents to show, making the logic much easier.

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21642: Remove unused import

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

Revert "21037: changed jest timer mocks to settimeouts Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>"

Reverting due to false positives in search-input spec

This reverts commit 515f96c411358b45a978b6b7c93da860b09ee7d0.

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>