Merge branch '7490-datamanager-dont-die-return-error' of git.curoverse.com:arvados into 7490-datamanager-dont-die-return-error

7490: Quote strings in error messages, fixup error matching in tests.

Merge branch 'master' into 7490-datamanager-dont-die-return-error

7490: remove loggerutil.LogErrorMessage that I added since it is not used

7490: use loggerutil to log any datamanager errors.

Merge branch '5353-set-node-size' refs #5353

5353: Remove checks that cloud_node.size is None (because it should never be None or
booting multiple node sizes won't work).  Set size explicitly for the dummy driver.

5353: Explicitly set size field on node objects returned by list_nodes on AWS and Azure.

7490: Add Err to collection.ReadCollections and keep.ServerResponse so that the error can be propagated to clients accessing these through a channel read.

Hotfix: use a recursive lock for closed_lock so that EventClient.close() can be
called from on_event(). refs #7654

Merge branch 'master' into 7490-datamanager-dont-die-return-error

Merge branch '7654-ws4py-hang' closes #7654

Merge branch '3137-arv-mount-stats' closes #3137

3137: Bump Python SDK version requirement.  Tweak Stats() class, don't keep two
sets of data points.

Merge branch '6923-crunch-no-dpkg-query-wip'

Closes #6923, #7740.

6923: crunch-job logs PySDK version when minimally bootstrapped.

6923: Improve Arvados SDK version logging in Crunch run script.

* Use a mechanism that works in a wider variety of containers.  This
  only depends on Python itself and setuptools.  It won't generate
  spurious warnings by calling dpkg-query on Red Hat containers.
* Don't log the version when we successfully set up the specified
  arvados_sdk_version.  The version will only be '0.1' in this case,
  and that's not helpful.

7654: Fix hang in close().

3137: Change --stats to --crunchstat-interval as specified on the ticket.

Merge branch '5353-node-sizes' closes #5353

6846: Streamline Workbench 404 page.

* Prompt the user to log in with a prominent button.
* Make the page text less verbose.
* DRY up the code in the _report_error partial.

Refs #6846.

5353: Remove extra assertion because busywait does it for us.

5353: Update comment about min_nodes and node size.

5353: Add a couple comments to tests.

5353: Fix typo in _nodes_wanted().  Calculate number of nodes that can boot
based on price cap.  Don't add jobs to wishlist that exceed max price cap.

Merge branch 'master' into 7490-datamanager-dont-die-return-error

3137: Add --stats to arv-mount in crunch-job

3137: Add counter & logging for cache hits

3137: Refactor stats to record keep & fuse operations as well as bytes.

Closes #7235. Merge branch '7235-python-keep-client-timeout'

Closes #7235. Instead of setting KeepService's pycurl.TIMEOUT_MS, set pycurl.LOW_SPEED_LIMIT and pycurl.LOW_SPEED_TIME.
Default LOW_SPEED_LIMIT is 32768 bytes per second. Default LOW_SPEED_TIME is 64 seconds.
If the user specifies a length-two tuple, the first item sets CONNECTTIMEOUT_MS, the second item sets LOW_SPEED_TIME,
and LOW_SPEED_LIMIT is set to 32768 bytes per second.

Added bandwidth similator to keepstub, which uses millisecond precision (like curl) to measure timeouts.
Added tests to test_keep_client and modified existing tests to only use integers.

3137: Add stat counters for bytes uploaded/downloaded (keep) and read/written (fuse).

7490: added couple more datamanager tests with errors injected during GetCollections

7313: crunch-job reports an error when a task doesn't record state.

Closes #7313.

5353: Fixes from testing with Dummy driver.

5353: Add note that min_nodes boots cheapest nodes.

5353: Added max_total_price.  Added more tests for multiple node sizes.
Updated config file examples.

7490: added several error condition check tests for datamanager/keep package; increased code coverage from 14.6% to 72%

Merge branch 'master' into 7490-datamanager-dont-die-return-error

7490: a few more keep unit tests with simulated errors

Merge branch '7696-pysdk-all-keep-service-types-wip'

Closes #7696, #7758.

7696: Improve PySDK KeepClient.ThreadLimiter.

* Move the calculation of how many threads to allow into the class.
* Teach it to handle cases where max_replicas_per_service is known and
  greater than 1.  This will never happen today, but is an anticipated
  improvement.
* Update docstrings to reflect current reality.

These are all changes I made while debugging the previous race
condition.

7696: PySDK determines max_replicas_per_service after querying services.

Because max_replicas_per_service was set to 1 in the case where
KeepClient was instantiated with no direct information about available
Keep services, and because ThreadLimiter was being instantiated before
querying available Keep services (via map_new_services), the first
Keep request to talk to non-disk services would let multiple threads
run at once.  This fixes that race condition, and adds a test that was
triggering it semi-reliably.

7696: PySDK KeepClient uses all service types.

Filter out gateway services from the list of usable services, rather
than selecting only disk and proxy types.

7696: Clean imports in PySDK arvados.keep module.

7696: Refactor locator builder method in PySDK tests.

Merge branch '7123-crunch-no-record-log-failure-wip'

Closes #7123, #7741.

7123: Crunch doesn't update job log when arv-put fails.

This prevents crunch-job from recording the empty collection as a
job's log.  Most other components (Workbench, the log clenaer)
recognize a null log as a special case; less so the empty collection.

Merge branch '7645-doc-client-max-body-size-wip'

Closes #7645, #7742.  Refs #7356.

7356: Install guide sets client_max_body_size for arv-git-httpd.

7645: Install guide suggests setting client_max_body_size consistently.

Without these changes, the upstream Passenger processes may reject
large request bodies.

Merge branch 'master' into 7490-datamanager-dont-die-return-error

Merge branch '6846-workbench-top-nav-login-returns-wip'

Closes #6846, #7739.

6846: Workbench navigation bar login returns user to the same page.

Merge branch '6356-crunch-permfail-task-retry-fix-wip'

Closes #6356, #7738.

6356: crunch-job doesn't create new tasks after job success is set.

#6356 reported that a permanently failed task was retried.  Note 3
discusses why this happened and suggests two fixes:

* Only put tempfailed task back on the todo list.
* Run `last THISROUND if $main::please_freeze || defined($main::success);`
  after we call reapchildren(), since it's the main place where the
  value of $main::success can change.

The first change would revert part of
75be7487c2bbd83aa5116aa5f8ade5ddf31501da, which intentionally puts
these tasks back on the todo list to get a correct tasks count.

The current `last if…` line was added in
b306eb48ab12676ffb365ede8197e4f2d7e92011, with the rationale "Don't
create new tasks if $main::success is defined."  This change corrects
the code to implement the desired functionality, by checking and
stopping just before we create a new task (functionally, at least).

Merge branch '5824-keep-web-workbench' closes #5824

7490: Update the previously failing keep_test.go; no new tests added. We can now add datamanager/keep to gostuff in run-tests.sh

5824: Fix clear-download-dir helper.

5824: Fix path and query escapes.

Paths encode spaces as "%20", not "+".

Rails to_query helper does undesirable things like
"disposition[]=attachment".

5824: Fix -attachment-only-host test config. Test more preview/download variants.

Merge branch 'master' into 7490-datamanager-dont-die-return-error

Merge branch '5824-keep-web-workbench' refs #5824

5824: Merge branch 'master' into 5824-keep-web-workbench

Conflicts:
services/keepproxy/keepproxy_test.go

Merge branch 'master' into 7490-datamanager-dont-die-return-error

closes #7661
Merge branch '7661-fuse-by-pdh'

Merge branch 'master' into 7661-fuse-by-pdh

5824: Update/clarify docs and comments.

7661: Pass pdh_only when adding by_id subdir; test now passes.

Merge branch '5538-test-post-retry' refs #5538

5538: Update comments to match new tests.

7661: added test with only_pdh (not working yet)

5538: Test that POST method is not retried.

Use a different port number for each test case. No issue #

5824: Support configuration with a download-only host.

Merge branch 'master' into 7661-fuse-by-pdh

5824: Preserve query in keep_web_url template. Warn when redirecting preview to a single-origin keep_web_url.

Merge branch '3585-arpi-project-uuid-wip' closes #3585

Merge branch 'master' into 7661-fuse-by-pdh

Merge branch 'master' into 7490-datamanager-dont-die-return-error

closes #5538
Merge branch '5538-arvadosclient-retry'

5538: update the test case for "error" to use better stub parameters with nil status codes and response body to avoid any confusion to the reader.

7661: rename MagiDirectory by_pdh as pdh_only

Merge branch 'master' into 7661-fuse-by-pdh

7490: Convert several fatalf statements into returning errors. No new tests are added yet, but all the existing tests are passing.

5353: Add a couple of tests to explicitly create nodes of different sizes

5538: add a test that simulates error during requesting server so that we can test the error path as well.

3585: Add --project-uuid switch to a-r-p-i.

5824: Add anonymous-404 and download-by-pdh tests.

5824: Propagate non-token parts of query string (notably ?attachment=disposition) when redirecting.

5824: Support partial content with Range header (only if start==0).

5824: Fix disposition=attachment handling.

Propagate disposition=attachment from Workbench to keep-web when
redirecting.

Include a filename in the Content-Disposition header if the request
URL contains "?", so UAs don't mistakenly include the query string as
part of the default filename.

5824: Fixup new keepproxy tests to use simplified test setup.

See 813d35123538b00ab70719e247b6bb0881269460

5824: Move "periodically refresh Keep services" func from keepproxy to SDK.

5824: Fix server shutdown code.

* Pay attention to --num-keep-servers in stop_keep.

* Wait for processes to exit, to avoid start/stop races.

* Tighten exception handling in kill_server_pid() and warn instead of
  crashing in various races.

* Log TERM signals.

* Log when a server does not shut down within the given deadline.

5824: Fix Keep server shutdown, check errors, simplify stderr redirection.

(Oops, we forgot to actually Run() the python command for stop_keep.)

5538: update the test to set resp.body with the given string from stub than hard code it (overlooked in previous commit)

5538: correct retryable list and use it to determine whether to close idle connections; add a few more test cases.

Merge branch 'master' into 5538-arvadosclient-retry

5824: Use fifo2stderr for arv-git-httpd and keep-web logs, too.