Merge branch 'master' into 11652-recursive-contents-wb

Merge branch '11652-recursive-contents'

refs #11652

11652: Merge branch 'master' into 11652-recursive-contents

11652: Add tests for non-recursive and home-project cases.

11652: use "recursive=true" in workbench search requests

Merge branch 'master' into 11652-recursive-contents

closes #9587
Merge branch '9587-trash-page'

9587: rename pane name to "Recent trash"

9587: sort the trash page rows by trash_at timestamp

Merge branch 'master' into 9587-trash-page

closes #9587
Merge branch '9587-trash-page'

9587: sort order issue

9587: expose untrash api

9587: trash page

closes #4921
Merge branch '4921-clear-modal-preview-pane'

Merge branch '9005-share-discovery'

closes #9005

4921: also clear preview pane when a project is selected from projects dropdown menu

9587: show trash page contents in Recent tab pane

9587: sort order issue

9005: Serve keep_services/accessible regardless of auth status.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

11652: Update API docs.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

11652: Add "recursive" flag to groups#contents controller.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

closes #4921
Merge branch '4921-clear-modal-preview-pane'

9005: Replace matchTrue regexp with StringBool func.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

4921: clear preview pane when the selectable container is cleared

9005: Restore "refresh services on SIGHUP" to keepproxy.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

9005: Rename ClearCache to RefreshServiceDiscovery

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

9587: include "owner" in trash rows; update trash icon.

9587: test /trash page

9005: Tidy up test suite.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

9005: Fix test cases to accommodate service discovery changes.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

9587: cleanup trashed_items method

9587: display name instead of clickable link and remove tags

9005: Keep service discovery up to date automatically.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

9005: De-duplicate arvadosclient setup.

Fix ignored KeepServiceURIs when using an arvados.Client to create an
arvadosclient.ArvadosClient.

Fix ARVADOS_API_HOST_INSECURE=no or =false interpreted as "insecure
mode" in arvados.Client setup.

Log & ignore invalid entries in ARVADOS_KEEP_SERVICES in
arvados.Client setup. Handle extra separator chars more gracefully.

11720: Fix go test recipe so *_test=-check.vv uses vendor dir, too.

Merge branch '9005-keep-http-client'

refs #9005

9005: Modify default transport instead of building from scratch.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

9005: Remove periodic CloseIdleConnections().

This is unnecessary now that the transport has a non-zero
IdleConnTimeout.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

9587: expose untrash api

9005: Copy default transport if possible. Move magics to consts.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

Merge branch '11766-workflow-deadlock' closes #11766
Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curoverse.com>

Merge branch 'master' into 9587-trash-page

9587: untrash option

9587: tab line buttons in trash page

9587: trash page

Merge branch '11684-unsigned-locator-fix'
Closes #11684

11684: ArvadosFile.flush() now check if it is the only owner of a bufferblock before deleting it, so the extra argument is not required.
On commit_all(), always check if the owner attribute is an instance of ArvadosFile before calling flush()
Fixed a couple tests that were mocking bufferblock.owner so that they work with this new behavior.

Merge branch '11767-squeue-reasons' refs #11767

11767: Make squeue format output pipe (|) delimited so that it doesn't get
confused by spaces in the "Reasons" column

11684: Merge branch 'master' into 11684-unsigned-locator-fix

Merge branch '11769-scancel-jobs-only' closes #11769

9005: Share http Transports and Clients across KeepClients.

closes #11739 , #11751
Merge branch '11739-container-requests-in-dashboard'

11739: preload containers and children of all container_requests in dashboard display.
11751: in /container_requests page, use the column name "Name" and display either name of uuid of the object.

11684: Instead of fiddling with ArvadosFile object's internals from the BlockManager
put threads to update the segments locators when committing synchronously a block
built from smaller blocks, take advantage of ArvadosFile.flush() existing mechanism
to update unrealized segments locators by building a list of bufferblock owners
and calling all owner's flush() method on commit_all().
To avoid calling delete_bufferblock() many times on a single bufferblock, added
a flag on flush() and delete the bufferblock after flushing all owners.

11766: Bump cwltool version for deadlock fix.

Fix crunch script to set trash_intermediate and intermediate_output_ttl refs #11100

11769: HasUuid::UUID_REGEX matches anything that looks like an Arvados uuid. As a result, if crunchv1 and crunchv2 dispatchers are on the same cluster, crunch-dispatch.rb will try to scancel containers thinking they are "orphan jobs".  Tighten the regex to only match job uuids.

Merge branch '11767-slurm-units' refs #11767

11767: Test cases that it will convert fractional values from squeue.

11767: Slurm apparently will print out half values (like 2.5G).

11767: Recognize lowercase suffixes, just in case future versions of slurm
change the format again.

11767: Correctly parse values with unit suffixes printed by squeue.

Merge branch '11100-cwl-set-output-ttl' closes #11100

Merge branch 'master' into 11100-cwl-set-output-ttl

11100: Fix test

11100: Add ciso8601 dependency

11100: Add test for --trash-intermediate.  Add log message when intermediate
outputs are scheduled for trash.

11684: When packing small blocks into one, save references of the files
included on the block when committing it asynchronously, so that the
segment's locators can be updated at the put thread after the block is
committed and the permission token is returned from the API Server.

closes #11362 Merge branch '11362-missing-input-sdk/cwl'

Change visit in pathmapper.py to raise OSError if input file is not found, change test_pathmapper.py to test it, and update python client version in setup.py

refs #11362 Merge branch '11362-missing-input-sdk/python'

Change statfile in run.py to be able to raise OSError, and change the mock in test_pathmapper.py accordingly

Merge branch '11501-job-stats-discrepancy'
Closes #11501

11501: Simplified helper method call. Changed wording of run time description.

Merge branch '11543-collection-per-tool' closes #11543

11100: Separate "trash intermediate on success" behavior from "output intermediate TTL" option.  Update documentation.

11501: Don't filter out reused children when calculating running time.
Use always wall time when saying how much time passed after completion/failure.

11501: When calculating a work unit's running time, only include 'leaf' children, filtering those that were reused.

11543: Bump version dependency on arvados-python-client.

11543: Upload tool dependencies into single collection.  Add test for collection per tool.  Fix other tests.

Merge branch '11543-uploadfile-collection' refs #11543

11543: arvados.command.run.uploadfiles takes optional Collection to upload to.

11501: Merge branch 'master' into 11501-job-stats-discrepancy

11100: Update/add tests for --intermediate-output-ttl

11684: Reverted easy fix to expose the bug: when there's a delay writing a block that's
produced by packing smaller blocks into one, its locator doesn't get updated with the
correct access token, so it will fail when trying to save the collection to the API
server.

11100: Implement & document arv:IntermediateOutput hint.

11100: Propagate through to runner.  Use intermediate_output_ttl consistently.

11100: a-c-r sets output_ttl and deletes intermediate collections on success.

11501: Fix some tests when trying to use the walltime method on show_runtime.

11501: Improved test name

Merge branch '11369-crunchv2-notes' refs #11369

11369: Add migration notes about crunchv1-to-crunchv2

Merge branch '11720-govendor'

closes #11720

Merge branch '11590-log-reuse'

closes #11590

Merge branch '9005-disable-keepalive'

refs #9005
refs #11726
refs #11729

9005: 11726: 11729: Disable http keepalive.

The previous workaround for #9005 did not account for the prefetch
feature: if a goroutine is using the HTTP client to prefetch data at
the moment the handler exits, CloseIdleConnections() does not close
that connection, so it stays open indefinitely.

11501: A work unit running time with children was only computed calculating its direct
childs, so if a work unit child has more children, its running time could differ.

Merge branch '9005-conn-leak'

refs #9005