7870: Teach crunch-dispatch to fail jobs it already locked.

The fail_job method has been written with the assumption that the job
should be unlocked.  The retry support added in #4410 breaks this
assumption.  Teach fail_job to acquire the lock only when we don't
know we already have it.

closes #7252
Merge branch '7252-go-sdk-errors'

Merge branch 'master' into 7252-go-sdk-errors

Mock dispatch instead of relying on rollback in child proc.

No issue #. amends d88316705b23d1022ee2167c7ed0e5cf5e460cbe

Clear job queue before testing crunch-dispatch start/stop.

Otherwise, it might get as far as starting jobs before we send TERM.

No issue # but see build 2249.

Merge branch '7851-available-port' refs #7851

Fix crash on removing nonexistent directory.

No issue #

7851: Use a random display (:100-:499 = port 6100-6499) for Xvfb, instead of always :99.

7851: Choose available ports for selenium and poltergeist.

Also, display the chosen port numbers at startup.

Without this the Selenium driver defaults to 7055, which causes
interference between concurrent test runs.

Warn, but do not error out, if a collection has conflicting block sizes.

If this is treated as a fatal error, any user can stop all garbage
collection entirely by hand-editing a collection (accidentally or
maliciously) to include the same block with different size hints.

No issue #

refs #7253
Merge branch '7253-datamanager-test-errors'

7253: update the manifest_text for the test fixture multilevel_collection_2 to be valid.

Update capybara in workbench bundle.

No issue #

Merge branch 'master' into 7252-go-sdk-errors

Conflicts:
sdk/go/manifest/manifest_test.go

closes #7253
Merge branch '7253-datamanager-test-errors'

7253: update manigest.parseManifestStream to raise error when the given manifest does not have any block locators or file tokens.

7253: update BlockIterWithDuplicates to return any errors through Manifest, rather than BlockLocator.

Merge branch 'master' into 7253-datamanager-test-errors

7253: consume all blocks from BlockIterWithDuplicates, not just the first in test.

Merge branch '7832-pysdk-use-slots' refs #7832

7253: update arvadostest.stub to offer ServerStub and remove the redundant KeepServerStub; update tests accordingly.

7253: rename arvadostest/testing.go as stub.go

Merge branch 'master' into 7253-datamanager-test-errors

7252: convert fatalf's into errors in logger sdk code; remove AssertFromString from blockdigest and instead use FromString in all places where it was being used.

7832: Add __slots__ and remove __del__ which interfers with garbage collection.  Memory usage comes down by ~40%

Move remaining arv-run-pipeline-instance usage info from comments to --help message.

No issue #

7751: Clean up KEEP_LOCAL_STORE env var after tests.

refs #7751

7253: instead of ignoring errors during BlockIterWithDuplicates, send them to the caller.

5824: Move run_test_server diag messages from stdout to stderr.

refs #5824

Merge branch '7751-mount-tmp' refs #7751

7751: Fix race by telling fuse not to cache the .arvados#collection dirent.

7751: Refactor TmpCollectionDirectory: generate .arvados#collection less often.

7751: Fix stack trace on shutdown caused by race between destroy() and llfuse unmount.

7751: Fix shell wrapper code path.

7751: Lowercase method name for PEP-0008.

7751: Suppress help messages when testing usage errors.

7751: Update explanation of special .arvados#collection file. Fix wayward use of "Keep locator".

7751: Return an empty array from InodeCache.find() instead of None.

7751: Test mount arguments.

7751: Add tests for --mount-tmp option.

7751: Move code from arv-mount executable to module.

7751: Add --mount-tmp option.

Merge branch '7676-dispatch-cheaper-nodes' closes #7676

7676: Improve comments.

7676: Test choosing cheaper nodes, and basic crunch-dispatch startup/locking.

7676: Move crunch dispatch code into lib.

7676: Prefer cheaper nodes when allocating nodes to jobs.

7253: Update test so that it compiles and passes.

7253: Write a test that "does not" fail when an invalid manifest text is retrieved during collection.GetCollections(). The expected behavior: GetCollections() raises error in this case and hence datamanager aborts without deleting any blocks.

7253: Refactor APIStub and KeepServerStub into a testing.go so that the code can be reused from various packages

7751: 7654: Rename bool to _closed to avoid conflicting with superclass closed() method.

refs #7654

Fix Azure node listing in node manager.  refs #5353

closes #7255
Merge branch '7255-manifests-in-datamanager'

Merge branch 'master' into 7255-manifests-in-datamanager

7255: rename test and update comments.

Install guide crunch-dispatch runit script exports $HOME.

crunch-dispatch needs $HOME set in order to do some path
manipulation.  We set it to $(pwd) in production, which should
normally be the runit service definition directory.

This seems weird and it seems likely that there's a better value, but
until we investigate that and figure that out, documenting what we
have in production is better than letting crunch-dispatch crash.

Reported in IRC.  No issue #.

Merge branch 'master' into 7255-manifests-in-datamanager

Conflicts:
services/datamanager/datamanager_test.go

closes #7490
Merge branch '7490-datamanager-dont-die-return-error'

Merge branch 'master' into 7490-datamanager-dont-die-return-error

Merge branch '7490-datamanager-dont-die-return-error' of git.curoverse.com:arvados into 7490-datamanager-dont-die-return-error

7490: Quote strings in error messages, fixup error matching in tests.

Merge branch '5353-booted-size' refs #5353

5352: Set node size on records returned from libcloud create_node

Merge branch '7711-record-node-price' closes #7711

7711: Store cloud node size id and price in properties of Arvados node record.

7255: update TestPutAndGetCollectionsWithMultipleStreamsAndBlocks to verify that expected number of unique block locators are created.

7255: improve createMultiStreamBlockCollection to create collection with multiple blocks per stream.

Fix for _size_shutdowns and node prices in node manager refs #5353

Merge branch 'master' into 7255-manifests-in-datamanager

Merge branch 'master' into 7490-datamanager-dont-die-return-error

7490: remove loggerutil.LogErrorMessage that I added since it is not used

7490: use loggerutil to log any datamanager errors.

Merge branch '5353-set-node-size' refs #5353

5353: Remove checks that cloud_node.size is None (because it should never be None or
booting multiple node sizes won't work).  Set size explicitly for the dummy driver.

5353: Explicitly set size field on node objects returned by list_nodes on AWS and Azure.

7490: Add Err to collection.ReadCollections and keep.ServerResponse so that the error can be propagated to clients accessing these through a channel read.

Hotfix: use a recursive lock for closed_lock so that EventClient.close() can be
called from on_event(). refs #7654

Merge branch 'master' into 7490-datamanager-dont-die-return-error

Merge branch '7654-ws4py-hang' closes #7654

Merge branch '3137-arv-mount-stats' closes #3137

3137: Bump Python SDK version requirement.  Tweak Stats() class, don't keep two
sets of data points.

7255: add one more test with manifest_text with multiple blocks in stream.

Merge branch '6923-crunch-no-dpkg-query-wip'

Closes #6923, #7740.

6923: crunch-job logs PySDK version when minimally bootstrapped.

6923: Improve Arvados SDK version logging in Crunch run script.

* Use a mechanism that works in a wider variety of containers.  This
  only depends on Python itself and setuptools.  It won't generate
  spurious warnings by calling dpkg-query on Red Hat containers.
* Don't log the version when we successfully set up the specified
  arvados_sdk_version.  The version will only be '0.1' in this case,
  and that's not helpful.

7255: test collections with empty manifest_text and multiple streams and blocks.

7654: Fix hang in close().

3137: Change --stats to --crunchstat-interval as specified on the ticket.

Merge branch '5353-node-sizes' closes #5353

6846: Streamline Workbench 404 page.

* Prompt the user to log in with a prominent button.
* Make the page text less verbose.
* DRY up the code in the _report_error partial.

Refs #6846.

5353: Remove extra assertion because busywait does it for us.

5353: Update comment about min_nodes and node size.

5353: Add a couple comments to tests.

5353: Fix typo in _nodes_wanted().  Calculate number of nodes that can boot
based on price cap.  Don't add jobs to wishlist that exceed max price cap.

Merge branch 'master' into 7490-datamanager-dont-die-return-error

3137: Add --stats to arv-mount in crunch-job

3137: Add counter & logging for cache hits

3137: Refactor stats to record keep & fuse operations as well as bytes.

Closes #7235. Merge branch '7235-python-keep-client-timeout'

Closes #7235. Instead of setting KeepService's pycurl.TIMEOUT_MS, set pycurl.LOW_SPEED_LIMIT and pycurl.LOW_SPEED_TIME.
Default LOW_SPEED_LIMIT is 32768 bytes per second. Default LOW_SPEED_TIME is 64 seconds.
If the user specifies a length-two tuple, the first item sets CONNECTTIMEOUT_MS, the second item sets LOW_SPEED_TIME,
and LOW_SPEED_LIMIT is set to 32768 bytes per second.

Added bandwidth similator to keepstub, which uses millisecond precision (like curl) to measure timeouts.
Added tests to test_keep_client and modified existing tests to only use integers.