Merge branch '12917-group-contents-include-container'

closes #12917

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21705-go-deps'

refs #21705

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Arvbox want openssh-server, no issue #

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

12917: Update documentation for "include" parameter.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

12917: Support include=container_uuid at groups#contents endpoint.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21718-memoryview-decode' refs #21718

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21718-memoryview-readfrom-v2'  refs #21718

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

Merge branch '21712-favorites-overwrite-bug'

closes #21712

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21718: Review comments

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21718: Add "return_memoryview" flag to read() and readfrom()

If return_memoryview is true, always return memoryview.  This makes
for more consistent read() and readfrom() behavior.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21718: Update cwltool dependency

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21718: Remove unused import

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21718: Replace .decode method with str(bytes, "utf-8")

This is because some bytes-like objects (such as memoryview) don't
have a "decode()" method. It appears that the preferred way to get a
decoded string is to simply call the constructor with the bytes-like
object and the desired encoding.

Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curii.com>

21712: added category param in link verification function

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21535-multi-wf-delete'

closes #21535

Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21666-provision-test-improvement'

closes #21666

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21666: Update --test help message

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21535: fixed deletion verify assertion Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21535: added test for individual wf not existinf in dom Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21535: changed test spec from select all to select each individually Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21774-package-dependencies'

Closes #21774.
Refs #21663, #21664.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21774: Add libfuse2 dependency to FUSE package

Otherwise the `fuse` dependency can be satisfied entirely by
libfuse3. arv-mount doesn't work if you happen to install this way.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21535: removed hover assertion Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21611-log-chunk-delay'

fixes #21611

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21611: Fix formatting of config keys.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Log more politely via test logger.

No issue #

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21535: test spec tweaks Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21535: removed .only and added more assertions Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21535: added .only for testing Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

Merge branch '21766-disk-cache-size'

fixes #21766

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21535: moved MultiSelectMenuActionNames to its own file Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21535: added timeouts to test spec Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21535: added timeouts to test spec Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21535: replaced deleteWorkflow with removeWorkflowPermanently for consistency Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21705: Pass static credentials explicitly instead of using env vars.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21535: added multi wf delete test Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21705: Go mod tidy.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21705: Update adal to unretracted version.

go: warning: github.com/Azure/go-autorest/autorest/adal@v0.9.17: retracted by module author: retracted due to token refresh errors

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21705: Migrate keep-web s3 tests to aws-sdk-go-v2.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21766: Enable keepclient debug logging in keep-web.

Clients can now specify where to send logs by setting the Logger field
on an arvados.Client or arvadosclient.ArvadosClient.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21705: Migrate keepstore s3 driver to latest aws-sdk-go-v2.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21705: Upgrade go-retryablehttp and remove workaround.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21705: Migrate lib/cloud/ec2 from aws-sdk-go to aws-sdk-go-v2.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21705: Update go runtime to 1.22.2.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21678-installer-diagnostics-internal'. Closes #21678

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21678: Removes unused variables and trailing whitespaces.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21535: added wf delete dialog Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21678: Improves credentials passing even further.

By using a here-doc, the token doesn't get leaked on any of the process lists.
This also has the advantage of not needing any config file management.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21678: Passes credentials through conf file instead of env vars.

To avoid leaking the token to the remote host process list, and also
minimize the exposure on the local host, instead of passing the credentials
through environment variables, we build a conf file that get piped to ssh
via stdout/stdin.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21535: changed wf and process to use new delete icon Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21535: made ownerUuid param optional and removed it for multiselect Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21678: Copyedit installer diagnostics documentation

Small wording and punctuation changes that I hope make things a little
clearer.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21766: Fix WebDAVCache.DiskCacheSize config being ignored.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21207-pytest'

Closes #21207, #21733.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21635-banner-test-fix' into main. Closes #21635

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21766: Fix disk cache size percentage calculation.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21207: Move FUSE test abort logs into pytest exit message

Since pytest doesn't display live logs, they're no longer helpful. We
could configure pytest to display live logs, but overall just moving the
information to the exit message seems like a cleaner solution.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21207: Abort FUSE tests with exit status 2

See comments for rationale.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21635: Add checks to wait for banner to close in tooltip test

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21678: Updates documentation

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21678: Adds 'diagnostics-internal' subcommand to installer.sh

It checks if there's a node with the 'shell' role, and runs diagnostics
on it as root (to be able to use docker)

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21207: Abort test runs with pytest.exit

This lets pytest better report the problem versus an un-handle-able
SIGKILL.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21207: Update example test selection for pytest

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21535: changed delete method to handle multiple workflows Arvados-DCO-1.1-Signed-off-by: Lisa Knox <lisa.knox@curii.com>

21611: Fix test race by waiting for dblocks to be released.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21611: Log "disabled by config" log message only once.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21611: Remove configs for periodic container log sweep.

Now that there are no new container logs being written to the logs
table, we can just delete the remaining entries and stop checking.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21666: Adds logging and status check to exit prematurely when failing.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21666: Adds 'arvados-client diagnostics' to run-tests.sh

In addition and prior to running the hasher wf test, run the arvados-client
diagnostics test.
This assumes that docker and arvados-client are installed on the local
system, making the shell node a good candidate on multi-node (production)
installations.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

Merge branch '21383-misc-fixes'. Refs #21383

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21383: Adds http_endpoint="enabled" to Terraform's ec2 instances code.

Although the documentation states that it's enabled by default, I was getting
an error like this:

Error: creating EC2 Instance: InvalidParameterValue: A value of '' is not valid for HttpEndpoint. Specify either 'enabled' or 'disabled' and try again.

Arvados-DCO-1.1-Signed-off-by: Lucas Di Pentima <lucas.dipentima@curii.com>

21611: Add upgrade note about removed configs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21207: Run Python tests with pytest

This gets us away from a deprecated setup.py invocation, and provides
richer test authoring and result reporting facilities.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21207: Remove Python slow/short tests support

After the previous commit there are no more users of this, and this
interface will no longer be supported after our migration to pytest. If
we want this functionality in the future we should set up a custom
"slow" mark in pytest and use pytest's built-in mark filtering.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21207: Remove FUSE performance tests

None of these tests have been running as intended. The `slow_test`
decorator is written incorrectly such that the return value of
`unittest.skipIf` *replaces* the test method rather than *wrapping* it.

We just did a round of serious performance improvement on FUSE and
literally nobody looked at this code or tried to track down the
profiling results it produces.

I'm not opposed to performance tests on principle. But these tests
aren't that, they just generate some profiling results and then spend a
bunch of time running various checks on the manifest that arv-mount
generated.

Remove them to save runtime and make it easier to run tests under
pytest. We can always write better performance tests later if we want.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21207: Rename CWL standalone test functions

These functions are not picked up by the unittest runner (since they're
not TestCase methods) but are picked up by pytest (since they start with
test_*). Rename them to retain existing behavior across test runners.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21207: Set up MockedPut._state with a deepcopy

Otherwise its internal state could get into EMPTY_STATE and contaminate
other tests.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21611: Remove obsolete configs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21611: Test that log is saved after logging preemption notice.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21611: Fix unreliable test.

https://ci.arvados.org/job/developer-run-tests-remainder/4413/consoleFull

FAIL: integration_test.go:1158: IntegrationSuite.TestRunTrivialContainer

integration_test.go:1313:
    c.Check(allStatus, check.Matches, `Queued, waiting for dispatch\n`+
        `(Queued, waiting.*\n)*`+
        `(Locked, waiting for dispatch\n)?`+
        `(Locked, waiting for new instance to be ready\n)?`+
        `(Locked, preparing runtime environment\n)?`+
        `(Running, \n)?`+
        `Complete, \n`)
... value string = "" +
...     "Queued, waiting for dispatch\n" +
...     "Locked, waiting for new instance to be ready\n" +
...     "Locked, preparing runtime environment\n" +
...     "Queued, preparing runtime environment\n" +
...     "Locked, waiting for new instance to be ready\n" +
...     "Locked, preparing runtime environment\n" +
...     "Running, \n" +
...     "Complete, \n"

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21611: Remove log-to-logs-table code.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '15397-remove-obsolete-apis'

refs #15397

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15397: Merge branch 'main'

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '12430-output-glob'

closes #12430

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21356-clean-imports'

Closes #21356.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

Merge branch '21717-keepstore-cors'

fixes #21717

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

Merge branch '21642-io-panel-collection-tab-bug' into main. Closes #21642

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>

21700: Remove package-test-dockerfiles/Makefile instructions

This Makefile was removed in 792a7d47b560d4aa80e2cb8a933a11e02e3109b3
because it only supported RVM, so there's no more need to update it.
Refs #21700.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

15397: Remove checks for nodes and repositories endpoints.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15397: Fix python tests relying on removed APIs/fixtures.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15397: Move deprecated API links to old version of doc site.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15397: Remove code, configs, and docs for hosted git repo feature.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15397: Remove obsolete APIs.

jobs, job_tasks, pipeline_instances, pipeline_templates, nodes,
repositories, humans, specimens, traits.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

15397: Silence nginx log noise like "closed keepalive connection".

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21717: Fix incorrect header.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

12430: Add more glob unit test cases.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

12430: Add comments about the two stages of glob-filtering.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

12430: Avoid loading collections excluded by globs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curii.com>

21356: Remove all Python 2/3 compatibility imports

This includes noop imports from __future__ and builtins, as well as
imports from the future and six compatibility libraries.

Arvados-DCO-1.1-Signed-off-by: Brett Smith <brett.smith@curii.com>

21642: Fix unit tests to account for hidden instead of absent tab content

Arvados-DCO-1.1-Signed-off-by: Stephen Smith <stephen@curii.com>