9005: Keep service discovery up to date automatically.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

9005: De-duplicate arvadosclient setup.

Fix ignored KeepServiceURIs when using an arvados.Client to create an
arvadosclient.ArvadosClient.

Fix ARVADOS_API_HOST_INSECURE=no or =false interpreted as "insecure
mode" in arvados.Client setup.

Log & ignore invalid entries in ARVADOS_KEEP_SERVICES in
arvados.Client setup. Handle extra separator chars more gracefully.

11720: Fix go test recipe so *_test=-check.vv uses vendor dir, too.

Merge branch '9005-keep-http-client'

refs #9005

9005: Modify default transport instead of building from scratch.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

9005: Remove periodic CloseIdleConnections().

This is unnecessary now that the transport has a non-zero
IdleConnTimeout.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

9005: Copy default transport if possible. Move magics to consts.

Arvados-DCO-1.1-Signed-off-by: Tom Clegg <tom@curoverse.com>

Merge branch '11766-workflow-deadlock' closes #11766
Arvados-DCO-1.1-Signed-off-by: Peter Amstutz <peter.amstutz@curoverse.com>

Merge branch '11684-unsigned-locator-fix'
Closes #11684

11684: ArvadosFile.flush() now check if it is the only owner of a bufferblock before deleting it, so the extra argument is not required.
On commit_all(), always check if the owner attribute is an instance of ArvadosFile before calling flush()
Fixed a couple tests that were mocking bufferblock.owner so that they work with this new behavior.

Merge branch '11767-squeue-reasons' refs #11767

11767: Make squeue format output pipe (|) delimited so that it doesn't get
confused by spaces in the "Reasons" column

11684: Merge branch 'master' into 11684-unsigned-locator-fix

Merge branch '11769-scancel-jobs-only' closes #11769

9005: Share http Transports and Clients across KeepClients.

closes #11739 , #11751
Merge branch '11739-container-requests-in-dashboard'

11739: preload containers and children of all container_requests in dashboard display.
11751: in /container_requests page, use the column name "Name" and display either name of uuid of the object.

11684: Instead of fiddling with ArvadosFile object's internals from the BlockManager
put threads to update the segments locators when committing synchronously a block
built from smaller blocks, take advantage of ArvadosFile.flush() existing mechanism
to update unrealized segments locators by building a list of bufferblock owners
and calling all owner's flush() method on commit_all().
To avoid calling delete_bufferblock() many times on a single bufferblock, added
a flag on flush() and delete the bufferblock after flushing all owners.

11766: Bump cwltool version for deadlock fix.

Fix crunch script to set trash_intermediate and intermediate_output_ttl refs #11100

11769: HasUuid::UUID_REGEX matches anything that looks like an Arvados uuid. As a result, if crunchv1 and crunchv2 dispatchers are on the same cluster, crunch-dispatch.rb will try to scancel containers thinking they are "orphan jobs".  Tighten the regex to only match job uuids.

Merge branch '11767-slurm-units' refs #11767

11767: Test cases that it will convert fractional values from squeue.

11767: Slurm apparently will print out half values (like 2.5G).

11767: Recognize lowercase suffixes, just in case future versions of slurm
change the format again.

11767: Correctly parse values with unit suffixes printed by squeue.

Merge branch '11100-cwl-set-output-ttl' closes #11100

Merge branch 'master' into 11100-cwl-set-output-ttl

11100: Fix test

11100: Add ciso8601 dependency

11100: Add test for --trash-intermediate.  Add log message when intermediate
outputs are scheduled for trash.

11684: When packing small blocks into one, save references of the files
included on the block when committing it asynchronously, so that the
segment's locators can be updated at the put thread after the block is
committed and the permission token is returned from the API Server.

closes #11362 Merge branch '11362-missing-input-sdk/cwl'

Change visit in pathmapper.py to raise OSError if input file is not found, change test_pathmapper.py to test it, and update python client version in setup.py

refs #11362 Merge branch '11362-missing-input-sdk/python'

Change statfile in run.py to be able to raise OSError, and change the mock in test_pathmapper.py accordingly

Merge branch '11501-job-stats-discrepancy'
Closes #11501

11501: Simplified helper method call. Changed wording of run time description.

Merge branch '11543-collection-per-tool' closes #11543

11100: Separate "trash intermediate on success" behavior from "output intermediate TTL" option.  Update documentation.

11501: Don't filter out reused children when calculating running time.
Use always wall time when saying how much time passed after completion/failure.

11501: When calculating a work unit's running time, only include 'leaf' children, filtering those that were reused.

11543: Bump version dependency on arvados-python-client.

11543: Upload tool dependencies into single collection.  Add test for collection per tool.  Fix other tests.

Merge branch '11543-uploadfile-collection' refs #11543

11543: arvados.command.run.uploadfiles takes optional Collection to upload to.

11501: Merge branch 'master' into 11501-job-stats-discrepancy

11100: Update/add tests for --intermediate-output-ttl

11684: Reverted easy fix to expose the bug: when there's a delay writing a block that's
produced by packing smaller blocks into one, its locator doesn't get updated with the
correct access token, so it will fail when trying to save the collection to the API
server.

11100: Implement & document arv:IntermediateOutput hint.

11100: Propagate through to runner.  Use intermediate_output_ttl consistently.

11100: a-c-r sets output_ttl and deletes intermediate collections on success.

11501: Fix some tests when trying to use the walltime method on show_runtime.

11501: Improved test name

Merge branch '11369-crunchv2-notes' refs #11369

11369: Add migration notes about crunchv1-to-crunchv2

Merge branch '11720-govendor'

closes #11720

Merge branch '11590-log-reuse'

closes #11590

Merge branch '9005-disable-keepalive'

refs #9005
refs #11726
refs #11729

9005: 11726: 11729: Disable http keepalive.

The previous workaround for #9005 did not account for the prefetch
feature: if a goroutine is using the HTTP client to prefetch data at
the moment the handler exits, CloseIdleConnections() does not close
that connection, so it stays open indefinitely.

11501: A work unit running time with children was only computed calculating its direct
childs, so if a work unit child has more children, its running time could differ.

Merge branch '9005-conn-leak'

refs #9005

9005: Fix missing error checks.

9005: Fix missing Close().

closes #11710
Merge branch '11710-container-request-show-perf'

11710: fix typo in finding children

11710: fetching requesting containers

11710: preload / batch retrieval of children of a container_work_unit

9005: Remove debug printf.

11590: Dry up log_reuse_info() calls.

refs #9587
Merge branch '9587-include-trash-in-group-contents'

9587: add support for include_trash in groups_controller -> contents method

11590: Add container logging tests.

Merge branch '11644-mounts-api'

closes #11644

11644: Add DeviceID() to Volume interface.

11644: Unify block-index handlers. Move prefix arg to query string.

11590: Log container reuse decisions.

Merge branch '11590-log-reuse'

refs #11590

11590: Clarify "job state" condition in log message.

11720: Add vendor/.gitignore.

11720: Update Go dependencies.

11720: Merge branch 'master' into 11720-govendor

Merge branch '11546-fast-lock'

closes #11546

11720: Control dependencies with govendor.

closes #11580
Merge branch '11580-container-requests'

11546: Wrap lock/unlock in transactions.

11580: preload containers

11580: add container_requests index page

11546: Avoid loading/saving non-essential fields in /arvados/v1/containers/lock.

Merge branch '11714-crunch-run-cgroup-parent' closes #11714

11714: Set CgroupParent under Resources because setting Cgroup in HostConfig
doesn't work.

Merge branch '11718-crunch-run-docker-wait' closes #11718

11718: Update crunch-run for docker client API change in ContainerWait().

11644: Test fields in /mounts response.

11644: Ensure generated UUIDs are always 27 chars.

11644: Add volume replication level to /mounts response.

11644: Replace linear search with map for looking up mounts by UUID.

11644: Test non-empty MountUUID in trash list.

11644: Add pull-to-mount-UUID test. Tidy up pull worker and tests.

Merge branch '11693-crunch2-output-symlinks' closes #11693