3137: Add stat counters for bytes uploaded/downloaded (keep) and read/written (fuse).

7313: crunch-job reports an error when a task doesn't record state.

Closes #7313.

Merge branch '7696-pysdk-all-keep-service-types-wip'

Closes #7696, #7758.

7696: Improve PySDK KeepClient.ThreadLimiter.

* Move the calculation of how many threads to allow into the class.
* Teach it to handle cases where max_replicas_per_service is known and
  greater than 1.  This will never happen today, but is an anticipated
  improvement.
* Update docstrings to reflect current reality.

These are all changes I made while debugging the previous race
condition.

7696: PySDK determines max_replicas_per_service after querying services.

Because max_replicas_per_service was set to 1 in the case where
KeepClient was instantiated with no direct information about available
Keep services, and because ThreadLimiter was being instantiated before
querying available Keep services (via map_new_services), the first
Keep request to talk to non-disk services would let multiple threads
run at once.  This fixes that race condition, and adds a test that was
triggering it semi-reliably.

7696: PySDK KeepClient uses all service types.

Filter out gateway services from the list of usable services, rather
than selecting only disk and proxy types.

7696: Clean imports in PySDK arvados.keep module.

7696: Refactor locator builder method in PySDK tests.

Merge branch '7123-crunch-no-record-log-failure-wip'

Closes #7123, #7741.

7123: Crunch doesn't update job log when arv-put fails.

This prevents crunch-job from recording the empty collection as a
job's log.  Most other components (Workbench, the log clenaer)
recognize a null log as a special case; less so the empty collection.

Merge branch '7645-doc-client-max-body-size-wip'

Closes #7645, #7742.  Refs #7356.

7356: Install guide sets client_max_body_size for arv-git-httpd.

7645: Install guide suggests setting client_max_body_size consistently.

Without these changes, the upstream Passenger processes may reject
large request bodies.

Merge branch '6846-workbench-top-nav-login-returns-wip'

Closes #6846, #7739.

6846: Workbench navigation bar login returns user to the same page.

Merge branch '6356-crunch-permfail-task-retry-fix-wip'

Closes #6356, #7738.

6356: crunch-job doesn't create new tasks after job success is set.

#6356 reported that a permanently failed task was retried.  Note 3
discusses why this happened and suggests two fixes:

* Only put tempfailed task back on the todo list.
* Run `last THISROUND if $main::please_freeze || defined($main::success);`
  after we call reapchildren(), since it's the main place where the
  value of $main::success can change.

The first change would revert part of
75be7487c2bbd83aa5116aa5f8ade5ddf31501da, which intentionally puts
these tasks back on the todo list to get a correct tasks count.

The current `last if…` line was added in
b306eb48ab12676ffb365ede8197e4f2d7e92011, with the rationale "Don't
create new tasks if $main::success is defined."  This change corrects
the code to implement the desired functionality, by checking and
stopping just before we create a new task (functionally, at least).

Merge branch '5824-keep-web-workbench' closes #5824

5824: Fix clear-download-dir helper.

5824: Fix path and query escapes.

Paths encode spaces as "%20", not "+".

Rails to_query helper does undesirable things like
"disposition[]=attachment".

5824: Fix -attachment-only-host test config. Test more preview/download variants.

Merge branch '5824-keep-web-workbench' refs #5824

5824: Merge branch 'master' into 5824-keep-web-workbench

Conflicts:
services/keepproxy/keepproxy_test.go

closes #7661
Merge branch '7661-fuse-by-pdh'

Merge branch 'master' into 7661-fuse-by-pdh

5824: Update/clarify docs and comments.

7661: Pass pdh_only when adding by_id subdir; test now passes.

Merge branch '5538-test-post-retry' refs #5538

5538: Update comments to match new tests.

7661: added test with only_pdh (not working yet)

5538: Test that POST method is not retried.

Use a different port number for each test case. No issue #

5824: Support configuration with a download-only host.

Merge branch 'master' into 7661-fuse-by-pdh

5824: Preserve query in keep_web_url template. Warn when redirecting preview to a single-origin keep_web_url.

Merge branch '3585-arpi-project-uuid-wip' closes #3585

Merge branch 'master' into 7661-fuse-by-pdh

closes #5538
Merge branch '5538-arvadosclient-retry'

5538: update the test case for "error" to use better stub parameters with nil status codes and response body to avoid any confusion to the reader.

7661: rename MagiDirectory by_pdh as pdh_only

Merge branch 'master' into 7661-fuse-by-pdh

5538: add a test that simulates error during requesting server so that we can test the error path as well.

3585: Add --project-uuid switch to a-r-p-i.

5824: Add anonymous-404 and download-by-pdh tests.

5824: Propagate non-token parts of query string (notably ?attachment=disposition) when redirecting.

5824: Support partial content with Range header (only if start==0).

5824: Fix disposition=attachment handling.

Propagate disposition=attachment from Workbench to keep-web when
redirecting.

Include a filename in the Content-Disposition header if the request
URL contains "?", so UAs don't mistakenly include the query string as
part of the default filename.

5824: Fixup new keepproxy tests to use simplified test setup.

See 813d35123538b00ab70719e247b6bb0881269460

5824: Move "periodically refresh Keep services" func from keepproxy to SDK.

5824: Fix server shutdown code.

* Pay attention to --num-keep-servers in stop_keep.

* Wait for processes to exit, to avoid start/stop races.

* Tighten exception handling in kill_server_pid() and warn instead of
  crashing in various races.

* Log TERM signals.

* Log when a server does not shut down within the given deadline.

5824: Fix Keep server shutdown, check errors, simplify stderr redirection.

(Oops, we forgot to actually Run() the python command for stop_keep.)

5538: update the test to set resp.body with the given string from stub than hard code it (overlooked in previous commit)

5538: correct retryable list and use it to determine whether to close idle connections; add a few more test cases.

Merge branch 'master' into 5538-arvadosclient-retry

5824: Use fifo2stderr for arv-git-httpd and keep-web logs, too.

5824: Sync test suite to new keep-web argument names.

5824: Merge branch 'master' into 5824-keep-web-workbench

5538: much simpler and neater api stub test case array; golint

7724: Use datamanager token in keep-rsync tests. refs #7724

Merge branch 'master' into 5538-arvadosclient-retry

5538: Merge FailHandler and FailThenSucceedHandler into one APIStub to facilitate testing many more error states; also add update and delete retry tests.

5538: code improvements; use switch statement instead of if statement with several status code checks, sleep between retries.

7724: Use datamanager token in keepproxy index test. refs #7724

Merge branch '7724-scoped-token' closes #7724

Fix non-packaged API server paths in the install guide.

No issue #.

Merge branch '5824-keep-web' refs #5824

7724: Use a scoped token in data manager tests.

5824: Use ARVADOS_API_TOKEN=foo + -allow-anonymous instead of -anonymous-token=foo.

5824: Rename -address to -listen

5538: update the newly added TestFail* to use proper client with http.Transport

Merge branch 'master' into 5538-arvadosclient-retry

Conflicts:
sdk/go/arvadosclient/arvadosclient.go

refs #5538
Merge branch '5538-close-idle-connections'

5538: update test to reuse arvados client in TestCreatePipelineTemplate between idle and current connections.

Merge branch 'master' into 5538-close-idle-connections

closes #7719
Merge branch '7719-permit-net-delete'

7719: permit never-delte to be set to false; add warning that datamanager is not yet fully tested.

5538: add test with a connection idle for longer than MaxIdleConnectionDuration

Merge branch 'master' into 5538-close-idle-connections

Merge branch '7713-node-manager-blacklist-broken-nodes-wip'

Closes #7713, #7718.

5538: using fake arvados server to generate errors, added tests with retries.

7713: Node Manager blackholes broken nodes that can't shut down.

We are seeing situations on Azure where some nodes in an UNKNOWN state
cannot be shut down.  The API call to destroy them always fails.

There are two related halves to this commit.  In the first half,
after a cloud shutdown request fails, ComputeNodeShutdownActor checks
whether the node is broken.  If it is, it cancels shutdown retries.

In the second half, the daemon checks for this shutdown outcome.  When
it happens, it blacklists the broken node: it will immediately filter
it out of node lists from the cloud.  It is no longer monitored in any
way or counted as a live node, so Node Manager will boot a replacement
for it.

This lets Node Manager create cloud nodes above max_nodes, up to the
number of broken nodes.  We're reasonably bounded in for now because
only the Azure driver will ever declare a node broken.  Other clouds
will never blacklist nodes this way.

Merge branch 'master' into 5538-arvadosclient-retry

5538: close any idle connections before a POST or DELETE request.

5538: retry failed arvados api requests when appropriate.

Merge branch '7444-dockercleaner-containers' closes #7444

Merge branch '5824-keep-web'

refs #5824

Merge branch '5824-keep-web' into 5824-keep-web-workbench

Conflicts:
services/keepproxy/keepproxy.go

5824: Merge branch 'master' into 5824-keep-web

5824: Avoid sending empty slices through toRead chan. Fixes race in test case.

5824: Turn off debug printfs unless enabled by calling program.

closes #7534
Merge branch '7534-superuser-token'

Merge branch 'master' into 7534-superuser-token

7661: add --by-pdh option to FUSE and use this option in crunch-job. Do not start web socket client when --by-pdh is used.

5824: Use session cookie instead of persistent.

5824: Clarity edits in usage docs.

Merge branch '7593-cwl-crunchrunner' closes #7593

7444: Rename kwarg remove_stopped_containers -> remove_containers_onexit

7444: Set docker container name to {taskUUID}-{attemptNum}.

7444: Do not remove docker containers with docker --rm; let dockercleaner do it.

7444: Clean stopped containers at startup.