Merge branch '7654-ws4py-hang' closes #7654

Merge branch '3137-arv-mount-stats' closes #3137

3137: Bump Python SDK version requirement.  Tweak Stats() class, don't keep two
sets of data points.

Merge branch '6923-crunch-no-dpkg-query-wip'

Closes #6923, #7740.

6923: crunch-job logs PySDK version when minimally bootstrapped.

6923: Improve Arvados SDK version logging in Crunch run script.

* Use a mechanism that works in a wider variety of containers.  This
  only depends on Python itself and setuptools.  It won't generate
  spurious warnings by calling dpkg-query on Red Hat containers.
* Don't log the version when we successfully set up the specified
  arvados_sdk_version.  The version will only be '0.1' in this case,
  and that's not helpful.

7654: Fix hang in close().

3137: Change --stats to --crunchstat-interval as specified on the ticket.

Merge branch '5353-node-sizes' closes #5353

6846: Streamline Workbench 404 page.

* Prompt the user to log in with a prominent button.
* Make the page text less verbose.
* DRY up the code in the _report_error partial.

Refs #6846.

5353: Remove extra assertion because busywait does it for us.

5353: Update comment about min_nodes and node size.

5353: Add a couple comments to tests.

5353: Fix typo in _nodes_wanted().  Calculate number of nodes that can boot
based on price cap.  Don't add jobs to wishlist that exceed max price cap.

3137: Add --stats to arv-mount in crunch-job

3137: Add counter & logging for cache hits

3137: Refactor stats to record keep & fuse operations as well as bytes.

Closes #7235. Merge branch '7235-python-keep-client-timeout'

Closes #7235. Instead of setting KeepService's pycurl.TIMEOUT_MS, set pycurl.LOW_SPEED_LIMIT and pycurl.LOW_SPEED_TIME.
Default LOW_SPEED_LIMIT is 32768 bytes per second. Default LOW_SPEED_TIME is 64 seconds.
If the user specifies a length-two tuple, the first item sets CONNECTTIMEOUT_MS, the second item sets LOW_SPEED_TIME,
and LOW_SPEED_LIMIT is set to 32768 bytes per second.

Added bandwidth similator to keepstub, which uses millisecond precision (like curl) to measure timeouts.
Added tests to test_keep_client and modified existing tests to only use integers.

3137: Add stat counters for bytes uploaded/downloaded (keep) and read/written (fuse).

7313: crunch-job reports an error when a task doesn't record state.

Closes #7313.

5353: Fixes from testing with Dummy driver.

5353: Add note that min_nodes boots cheapest nodes.

5353: Added max_total_price.  Added more tests for multiple node sizes.
Updated config file examples.

Merge branch '7696-pysdk-all-keep-service-types-wip'

Closes #7696, #7758.

7696: Improve PySDK KeepClient.ThreadLimiter.

* Move the calculation of how many threads to allow into the class.
* Teach it to handle cases where max_replicas_per_service is known and
  greater than 1.  This will never happen today, but is an anticipated
  improvement.
* Update docstrings to reflect current reality.

These are all changes I made while debugging the previous race
condition.

7696: PySDK determines max_replicas_per_service after querying services.

Because max_replicas_per_service was set to 1 in the case where
KeepClient was instantiated with no direct information about available
Keep services, and because ThreadLimiter was being instantiated before
querying available Keep services (via map_new_services), the first
Keep request to talk to non-disk services would let multiple threads
run at once.  This fixes that race condition, and adds a test that was
triggering it semi-reliably.

7696: PySDK KeepClient uses all service types.

Filter out gateway services from the list of usable services, rather
than selecting only disk and proxy types.

7696: Clean imports in PySDK arvados.keep module.

7696: Refactor locator builder method in PySDK tests.

Merge branch '7123-crunch-no-record-log-failure-wip'

Closes #7123, #7741.

7123: Crunch doesn't update job log when arv-put fails.

This prevents crunch-job from recording the empty collection as a
job's log.  Most other components (Workbench, the log clenaer)
recognize a null log as a special case; less so the empty collection.

Merge branch '7645-doc-client-max-body-size-wip'

Closes #7645, #7742.  Refs #7356.

7356: Install guide sets client_max_body_size for arv-git-httpd.

7645: Install guide suggests setting client_max_body_size consistently.

Without these changes, the upstream Passenger processes may reject
large request bodies.

Merge branch '6846-workbench-top-nav-login-returns-wip'

Closes #6846, #7739.

6846: Workbench navigation bar login returns user to the same page.

Merge branch '6356-crunch-permfail-task-retry-fix-wip'

Closes #6356, #7738.

6356: crunch-job doesn't create new tasks after job success is set.

#6356 reported that a permanently failed task was retried.  Note 3
discusses why this happened and suggests two fixes:

* Only put tempfailed task back on the todo list.
* Run `last THISROUND if $main::please_freeze || defined($main::success);`
  after we call reapchildren(), since it's the main place where the
  value of $main::success can change.

The first change would revert part of
75be7487c2bbd83aa5116aa5f8ade5ddf31501da, which intentionally puts
these tasks back on the todo list to get a correct tasks count.

The current `last if…` line was added in
b306eb48ab12676ffb365ede8197e4f2d7e92011, with the rationale "Don't
create new tasks if $main::success is defined."  This change corrects
the code to implement the desired functionality, by checking and
stopping just before we create a new task (functionally, at least).

Merge branch '5824-keep-web-workbench' closes #5824

5824: Fix clear-download-dir helper.

5824: Fix path and query escapes.

Paths encode spaces as "%20", not "+".

Rails to_query helper does undesirable things like
"disposition[]=attachment".

5824: Fix -attachment-only-host test config. Test more preview/download variants.

Merge branch '5824-keep-web-workbench' refs #5824

5824: Merge branch 'master' into 5824-keep-web-workbench

Conflicts:
services/keepproxy/keepproxy_test.go

closes #7661
Merge branch '7661-fuse-by-pdh'

Merge branch 'master' into 7661-fuse-by-pdh

5824: Update/clarify docs and comments.

7661: Pass pdh_only when adding by_id subdir; test now passes.

Merge branch '5538-test-post-retry' refs #5538

5538: Update comments to match new tests.

7661: added test with only_pdh (not working yet)

5538: Test that POST method is not retried.

Use a different port number for each test case. No issue #

5824: Support configuration with a download-only host.

Merge branch 'master' into 7661-fuse-by-pdh

5824: Preserve query in keep_web_url template. Warn when redirecting preview to a single-origin keep_web_url.

Merge branch '3585-arpi-project-uuid-wip' closes #3585

Merge branch 'master' into 7661-fuse-by-pdh

closes #5538
Merge branch '5538-arvadosclient-retry'

5538: update the test case for "error" to use better stub parameters with nil status codes and response body to avoid any confusion to the reader.

7661: rename MagiDirectory by_pdh as pdh_only

Merge branch 'master' into 7661-fuse-by-pdh

5353: Add a couple of tests to explicitly create nodes of different sizes

5538: add a test that simulates error during requesting server so that we can test the error path as well.

3585: Add --project-uuid switch to a-r-p-i.

5824: Add anonymous-404 and download-by-pdh tests.

5824: Propagate non-token parts of query string (notably ?attachment=disposition) when redirecting.

5824: Support partial content with Range header (only if start==0).

5824: Fix disposition=attachment handling.

Propagate disposition=attachment from Workbench to keep-web when
redirecting.

Include a filename in the Content-Disposition header if the request
URL contains "?", so UAs don't mistakenly include the query string as
part of the default filename.

5824: Fixup new keepproxy tests to use simplified test setup.

See 813d35123538b00ab70719e247b6bb0881269460

5824: Move "periodically refresh Keep services" func from keepproxy to SDK.

5824: Fix server shutdown code.

* Pay attention to --num-keep-servers in stop_keep.

* Wait for processes to exit, to avoid start/stop races.

* Tighten exception handling in kill_server_pid() and warn instead of
  crashing in various races.

* Log TERM signals.

* Log when a server does not shut down within the given deadline.

5824: Fix Keep server shutdown, check errors, simplify stderr redirection.

(Oops, we forgot to actually Run() the python command for stop_keep.)

5538: update the test to set resp.body with the given string from stub than hard code it (overlooked in previous commit)

5538: correct retryable list and use it to determine whether to close idle connections; add a few more test cases.

Merge branch 'master' into 5538-arvadosclient-retry

5824: Use fifo2stderr for arv-git-httpd and keep-web logs, too.

5824: Sync test suite to new keep-web argument names.

5824: Merge branch 'master' into 5824-keep-web-workbench

5353: Existing tests pass now.  (Still need to add a few tests that explicitly
test multiple node sizes.)

5353: Parameterize the following methods on node size: _nodes_up, _nodes_busy,
_nodes_missing, _nodes_wanted, _nodes_excess, start_node, and stop_booting_node.

Start fixing tests.

5538: much simpler and neater api stub test case array; golint

7724: Use datamanager token in keep-rsync tests. refs #7724

Merge branch 'master' into 5538-arvadosclient-retry

5538: Merge FailHandler and FailThenSucceedHandler into one APIStub to facilitate testing many more error states; also add update and delete retry tests.

5538: code improvements; use switch statement instead of if statement with several status code checks, sleep between retries.

5353: Give NodeManagerDaemonActor access to ServerCalculator object.

7724: Use datamanager token in keepproxy index test. refs #7724

Merge branch '7724-scoped-token' closes #7724

Fix non-packaged API server paths in the install guide.

No issue #.

Merge branch '5824-keep-web' refs #5824

7724: Use a scoped token in data manager tests.

5824: Use ARVADOS_API_TOKEN=foo + -allow-anonymous instead of -anonymous-token=foo.

5824: Rename -address to -listen

5538: update the newly added TestFail* to use proper client with http.Transport

Merge branch 'master' into 5538-arvadosclient-retry

Conflicts:
sdk/go/arvadosclient/arvadosclient.go

refs #5538
Merge branch '5538-close-idle-connections'

5538: update test to reuse arvados client in TestCreatePipelineTemplate between idle and current connections.

Merge branch 'master' into 5538-close-idle-connections