7253: instead of ignoring errors during BlockIterWithDuplicates, send them to the caller.

7253: Update test so that it compiles and passes.

7253: Write a test that "does not" fail when an invalid manifest text is retrieved during collection.GetCollections(). The expected behavior: GetCollections() raises error in this case and hence datamanager aborts without deleting any blocks.

7253: Refactor APIStub and KeepServerStub into a testing.go so that the code can be reused from various packages

7751: 7654: Rename bool to _closed to avoid conflicting with superclass closed() method.

refs #7654

Fix Azure node listing in node manager.  refs #5353

closes #7255
Merge branch '7255-manifests-in-datamanager'

Merge branch 'master' into 7255-manifests-in-datamanager

7255: rename test and update comments.

Install guide crunch-dispatch runit script exports $HOME.

crunch-dispatch needs $HOME set in order to do some path
manipulation.  We set it to $(pwd) in production, which should
normally be the runit service definition directory.

This seems weird and it seems likely that there's a better value, but
until we investigate that and figure that out, documenting what we
have in production is better than letting crunch-dispatch crash.

Reported in IRC.  No issue #.

Merge branch 'master' into 7255-manifests-in-datamanager

Conflicts:
services/datamanager/datamanager_test.go

closes #7490
Merge branch '7490-datamanager-dont-die-return-error'

Merge branch 'master' into 7490-datamanager-dont-die-return-error

Merge branch '7490-datamanager-dont-die-return-error' of git.curoverse.com:arvados into 7490-datamanager-dont-die-return-error

7490: Quote strings in error messages, fixup error matching in tests.

Merge branch '5353-booted-size' refs #5353

5352: Set node size on records returned from libcloud create_node

Merge branch '7711-record-node-price' closes #7711

7711: Store cloud node size id and price in properties of Arvados node record.

7255: update TestPutAndGetCollectionsWithMultipleStreamsAndBlocks to verify that expected number of unique block locators are created.

7255: improve createMultiStreamBlockCollection to create collection with multiple blocks per stream.

Fix for _size_shutdowns and node prices in node manager refs #5353

Merge branch 'master' into 7255-manifests-in-datamanager

Merge branch 'master' into 7490-datamanager-dont-die-return-error

7490: remove loggerutil.LogErrorMessage that I added since it is not used

7490: use loggerutil to log any datamanager errors.

Merge branch '5353-set-node-size' refs #5353

5353: Remove checks that cloud_node.size is None (because it should never be None or
booting multiple node sizes won't work).  Set size explicitly for the dummy driver.

5353: Explicitly set size field on node objects returned by list_nodes on AWS and Azure.

7490: Add Err to collection.ReadCollections and keep.ServerResponse so that the error can be propagated to clients accessing these through a channel read.

Hotfix: use a recursive lock for closed_lock so that EventClient.close() can be
called from on_event(). refs #7654

Merge branch 'master' into 7490-datamanager-dont-die-return-error

Merge branch '7654-ws4py-hang' closes #7654

Merge branch '3137-arv-mount-stats' closes #3137

3137: Bump Python SDK version requirement.  Tweak Stats() class, don't keep two
sets of data points.

7255: add one more test with manifest_text with multiple blocks in stream.

Merge branch '6923-crunch-no-dpkg-query-wip'

Closes #6923, #7740.

6923: crunch-job logs PySDK version when minimally bootstrapped.

6923: Improve Arvados SDK version logging in Crunch run script.

* Use a mechanism that works in a wider variety of containers.  This
  only depends on Python itself and setuptools.  It won't generate
  spurious warnings by calling dpkg-query on Red Hat containers.
* Don't log the version when we successfully set up the specified
  arvados_sdk_version.  The version will only be '0.1' in this case,
  and that's not helpful.

7255: test collections with empty manifest_text and multiple streams and blocks.

7654: Fix hang in close().

3137: Change --stats to --crunchstat-interval as specified on the ticket.

Merge branch '5353-node-sizes' closes #5353

6846: Streamline Workbench 404 page.

* Prompt the user to log in with a prominent button.
* Make the page text less verbose.
* DRY up the code in the _report_error partial.

Refs #6846.

5353: Remove extra assertion because busywait does it for us.

5353: Update comment about min_nodes and node size.

5353: Add a couple comments to tests.

5353: Fix typo in _nodes_wanted().  Calculate number of nodes that can boot
based on price cap.  Don't add jobs to wishlist that exceed max price cap.

Merge branch 'master' into 7490-datamanager-dont-die-return-error

3137: Add --stats to arv-mount in crunch-job

3137: Add counter & logging for cache hits

3137: Refactor stats to record keep & fuse operations as well as bytes.

Closes #7235. Merge branch '7235-python-keep-client-timeout'

Closes #7235. Instead of setting KeepService's pycurl.TIMEOUT_MS, set pycurl.LOW_SPEED_LIMIT and pycurl.LOW_SPEED_TIME.
Default LOW_SPEED_LIMIT is 32768 bytes per second. Default LOW_SPEED_TIME is 64 seconds.
If the user specifies a length-two tuple, the first item sets CONNECTTIMEOUT_MS, the second item sets LOW_SPEED_TIME,
and LOW_SPEED_LIMIT is set to 32768 bytes per second.

Added bandwidth similator to keepstub, which uses millisecond precision (like curl) to measure timeouts.
Added tests to test_keep_client and modified existing tests to only use integers.

3137: Add stat counters for bytes uploaded/downloaded (keep) and read/written (fuse).

7490: added couple more datamanager tests with errors injected during GetCollections

7313: crunch-job reports an error when a task doesn't record state.

Closes #7313.

5353: Fixes from testing with Dummy driver.

5353: Add note that min_nodes boots cheapest nodes.

5353: Added max_total_price.  Added more tests for multiple node sizes.
Updated config file examples.

7490: added several error condition check tests for datamanager/keep package; increased code coverage from 14.6% to 72%

Merge branch 'master' into 7490-datamanager-dont-die-return-error

7490: a few more keep unit tests with simulated errors

Merge branch '7696-pysdk-all-keep-service-types-wip'

Closes #7696, #7758.

7696: Improve PySDK KeepClient.ThreadLimiter.

* Move the calculation of how many threads to allow into the class.
* Teach it to handle cases where max_replicas_per_service is known and
  greater than 1.  This will never happen today, but is an anticipated
  improvement.
* Update docstrings to reflect current reality.

These are all changes I made while debugging the previous race
condition.

7696: PySDK determines max_replicas_per_service after querying services.

Because max_replicas_per_service was set to 1 in the case where
KeepClient was instantiated with no direct information about available
Keep services, and because ThreadLimiter was being instantiated before
querying available Keep services (via map_new_services), the first
Keep request to talk to non-disk services would let multiple threads
run at once.  This fixes that race condition, and adds a test that was
triggering it semi-reliably.

7696: PySDK KeepClient uses all service types.

Filter out gateway services from the list of usable services, rather
than selecting only disk and proxy types.

7696: Clean imports in PySDK arvados.keep module.

7696: Refactor locator builder method in PySDK tests.

Merge branch '7123-crunch-no-record-log-failure-wip'

Closes #7123, #7741.

7123: Crunch doesn't update job log when arv-put fails.

This prevents crunch-job from recording the empty collection as a
job's log.  Most other components (Workbench, the log clenaer)
recognize a null log as a special case; less so the empty collection.

Merge branch '7645-doc-client-max-body-size-wip'

Closes #7645, #7742.  Refs #7356.

7356: Install guide sets client_max_body_size for arv-git-httpd.

7645: Install guide suggests setting client_max_body_size consistently.

Without these changes, the upstream Passenger processes may reject
large request bodies.

Merge branch 'master' into 7490-datamanager-dont-die-return-error

Merge branch '6846-workbench-top-nav-login-returns-wip'

Closes #6846, #7739.

6846: Workbench navigation bar login returns user to the same page.

Merge branch '6356-crunch-permfail-task-retry-fix-wip'

Closes #6356, #7738.

6356: crunch-job doesn't create new tasks after job success is set.

#6356 reported that a permanently failed task was retried.  Note 3
discusses why this happened and suggests two fixes:

* Only put tempfailed task back on the todo list.
* Run `last THISROUND if $main::please_freeze || defined($main::success);`
  after we call reapchildren(), since it's the main place where the
  value of $main::success can change.

The first change would revert part of
75be7487c2bbd83aa5116aa5f8ade5ddf31501da, which intentionally puts
these tasks back on the todo list to get a correct tasks count.

The current `last if…` line was added in
b306eb48ab12676ffb365ede8197e4f2d7e92011, with the rationale "Don't
create new tasks if $main::success is defined."  This change corrects
the code to implement the desired functionality, by checking and
stopping just before we create a new task (functionally, at least).

Merge branch '5824-keep-web-workbench' closes #5824

7490: Update the previously failing keep_test.go; no new tests added. We can now add datamanager/keep to gostuff in run-tests.sh

5824: Fix clear-download-dir helper.

5824: Fix path and query escapes.

Paths encode spaces as "%20", not "+".

Rails to_query helper does undesirable things like
"disposition[]=attachment".

5824: Fix -attachment-only-host test config. Test more preview/download variants.

Merge branch 'master' into 7490-datamanager-dont-die-return-error

Merge branch '5824-keep-web-workbench' refs #5824

5824: Merge branch 'master' into 5824-keep-web-workbench

Conflicts:
services/keepproxy/keepproxy_test.go

Merge branch 'master' into 7490-datamanager-dont-die-return-error

closes #7661
Merge branch '7661-fuse-by-pdh'

Merge branch 'master' into 7661-fuse-by-pdh

5824: Update/clarify docs and comments.

7661: Pass pdh_only when adding by_id subdir; test now passes.

Merge branch '5538-test-post-retry' refs #5538

5538: Update comments to match new tests.

7661: added test with only_pdh (not working yet)

5538: Test that POST method is not retried.

Use a different port number for each test case. No issue #

5824: Support configuration with a download-only host.

Merge branch 'master' into 7661-fuse-by-pdh

5824: Preserve query in keep_web_url template. Warn when redirecting preview to a single-origin keep_web_url.