Merge branch 'master' into 7490-datamanager-dont-die-return-error

Merge branch '5824-keep-web-workbench' refs #5824

5824: Merge branch 'master' into 5824-keep-web-workbench

Conflicts:
services/keepproxy/keepproxy_test.go

Merge branch 'master' into 7490-datamanager-dont-die-return-error

closes #7661
Merge branch '7661-fuse-by-pdh'

Merge branch 'master' into 7661-fuse-by-pdh

5824: Update/clarify docs and comments.

7661: Pass pdh_only when adding by_id subdir; test now passes.

Merge branch '5538-test-post-retry' refs #5538

5538: Update comments to match new tests.

7661: added test with only_pdh (not working yet)

5538: Test that POST method is not retried.

Use a different port number for each test case. No issue #

5824: Support configuration with a download-only host.

Merge branch 'master' into 7661-fuse-by-pdh

5824: Preserve query in keep_web_url template. Warn when redirecting preview to a single-origin keep_web_url.

Merge branch '3585-arpi-project-uuid-wip' closes #3585

Merge branch 'master' into 7661-fuse-by-pdh

Merge branch 'master' into 7490-datamanager-dont-die-return-error

closes #5538
Merge branch '5538-arvadosclient-retry'

5538: update the test case for "error" to use better stub parameters with nil status codes and response body to avoid any confusion to the reader.

7661: rename MagiDirectory by_pdh as pdh_only

Merge branch 'master' into 7661-fuse-by-pdh

7490: Convert several fatalf statements into returning errors. No new tests are added yet, but all the existing tests are passing.

5538: add a test that simulates error during requesting server so that we can test the error path as well.

3585: Add --project-uuid switch to a-r-p-i.

5824: Add anonymous-404 and download-by-pdh tests.

5824: Propagate non-token parts of query string (notably ?attachment=disposition) when redirecting.

5824: Support partial content with Range header (only if start==0).

5824: Fix disposition=attachment handling.

Propagate disposition=attachment from Workbench to keep-web when
redirecting.

Include a filename in the Content-Disposition header if the request
URL contains "?", so UAs don't mistakenly include the query string as
part of the default filename.

5824: Fixup new keepproxy tests to use simplified test setup.

See 813d35123538b00ab70719e247b6bb0881269460

5824: Move "periodically refresh Keep services" func from keepproxy to SDK.

5824: Fix server shutdown code.

* Pay attention to --num-keep-servers in stop_keep.

* Wait for processes to exit, to avoid start/stop races.

* Tighten exception handling in kill_server_pid() and warn instead of
  crashing in various races.

* Log TERM signals.

* Log when a server does not shut down within the given deadline.

5824: Fix Keep server shutdown, check errors, simplify stderr redirection.

(Oops, we forgot to actually Run() the python command for stop_keep.)

5538: update the test to set resp.body with the given string from stub than hard code it (overlooked in previous commit)

5538: correct retryable list and use it to determine whether to close idle connections; add a few more test cases.

Merge branch 'master' into 5538-arvadosclient-retry

5824: Use fifo2stderr for arv-git-httpd and keep-web logs, too.

5824: Sync test suite to new keep-web argument names.

5824: Merge branch 'master' into 5824-keep-web-workbench

Merge branch 'master' into 7490-datamanager-dont-die-return-error

Conflicts:
services/datamanager/datamanager_test.go

5538: much simpler and neater api stub test case array; golint

7724: Use datamanager token in keep-rsync tests. refs #7724

Merge branch 'master' into 5538-arvadosclient-retry

5538: Merge FailHandler and FailThenSucceedHandler into one APIStub to facilitate testing many more error states; also add update and delete retry tests.

5538: code improvements; use switch statement instead of if statement with several status code checks, sleep between retries.

7724: Use datamanager token in keepproxy index test. refs #7724

Merge branch '7724-scoped-token' closes #7724

Fix non-packaged API server paths in the install guide.

No issue #.

Merge branch '5824-keep-web' refs #5824

7724: Use a scoped token in data manager tests.

5824: Use ARVADOS_API_TOKEN=foo + -allow-anonymous instead of -anonymous-token=foo.

5824: Rename -address to -listen

7490: The makeArvadosClient func, which is invoked by singlerun, should return error; not fatalf.
The main method expects error in all error cases and decides next action; when wait time in makeArvadosClient is provided it will retry.

5538: update the newly added TestFail* to use proper client with http.Transport

Merge branch 'master' into 5538-arvadosclient-retry

Conflicts:
sdk/go/arvadosclient/arvadosclient.go

refs #5538
Merge branch '5538-close-idle-connections'

5538: update test to reuse arvados client in TestCreatePipelineTemplate between idle and current connections.

Merge branch 'master' into 5538-close-idle-connections

closes #7719
Merge branch '7719-permit-net-delete'

7719: permit never-delte to be set to false; add warning that datamanager is not yet fully tested.

5538: add test with a connection idle for longer than MaxIdleConnectionDuration

Merge branch 'master' into 5538-close-idle-connections

Merge branch '7713-node-manager-blacklist-broken-nodes-wip'

Closes #7713, #7718.

5538: using fake arvados server to generate errors, added tests with retries.

7713: Node Manager blackholes broken nodes that can't shut down.

We are seeing situations on Azure where some nodes in an UNKNOWN state
cannot be shut down.  The API call to destroy them always fails.

There are two related halves to this commit.  In the first half,
after a cloud shutdown request fails, ComputeNodeShutdownActor checks
whether the node is broken.  If it is, it cancels shutdown retries.

In the second half, the daemon checks for this shutdown outcome.  When
it happens, it blacklists the broken node: it will immediately filter
it out of node lists from the cloud.  It is no longer monitored in any
way or counted as a live node, so Node Manager will boot a replacement
for it.

This lets Node Manager create cloud nodes above max_nodes, up to the
number of broken nodes.  We're reasonably bounded in for now because
only the Azure driver will ever declare a node broken.  Other clouds
will never blacklist nodes this way.

Merge branch 'master' into 5538-arvadosclient-retry

5538: close any idle connections before a POST or DELETE request.

5538: retry failed arvados api requests when appropriate.

Merge branch '7444-dockercleaner-containers' closes #7444

Merge branch '5824-keep-web'

refs #5824

Merge branch '5824-keep-web' into 5824-keep-web-workbench

Conflicts:
services/keepproxy/keepproxy.go

5824: Merge branch 'master' into 5824-keep-web

5824: Avoid sending empty slices through toRead chan. Fixes race in test case.

5824: Turn off debug printfs unless enabled by calling program.

closes #7534
Merge branch '7534-superuser-token'

Merge branch 'master' into 7534-superuser-token

7661: add --by-pdh option to FUSE and use this option in crunch-job. Do not start web socket client when --by-pdh is used.

5824: Use session cookie instead of persistent.

5824: Clarity edits in usage docs.

Merge branch '7593-cwl-crunchrunner' closes #7593

7444: Rename kwarg remove_stopped_containers -> remove_containers_onexit

7444: Set docker container name to {taskUUID}-{attemptNum}.

7444: Do not remove docker containers with docker --rm; let dockercleaner do it.

7444: Clean stopped containers at startup.

7593: Add version hint to arvados-python-client.  Add get_uploaded() and
add_uploaded(). Add comments to clarify CollectionFsAccess._match

7444: Test deletion error handling.

7444: Note automatic removal of stopped containers, and how to disable.

7444: Delete containers as soon as they stop.

5824: Mention -anonymous-token in godoc. Sync usage messages.

5824: Give an anonymous token to keepproxy, not an admin token.

5824: Send keepproxy and keepstore logs to stderr via fifo, just like nginx_access_log.

6638/7370: Force new builds of Python backports with dependencies.

Even though we've declared these dependencies for a while now, Jenkins
has not published packages with them, because without a new upstream
version, fpm believes that there's no new package to build.  This
resolves that by building a new iteration of the affected packages.

This is less than ideal, because if a new version is released, we'll
automatically package it with iteration 2.  That is not correct, but
it doesn't affect any functionality, and we already have a plan to do
things properly in #6885.  So we'll live with "correct functionality,
gross aesthetics" until then.

Ward approved in conversation.  Refs #6638, #7370.

Merge branch '7668-crunch-node-properties-wip'

Closes #7668, #7672.

7668: Move node stats from info to properties in fixtures.

7668: crunch-dispatch gets node stats from properties field.

This information moved from the info field to the properties field as
part of #3605.  This simply updates crunch-dispatch to catch up with
the change.

5824: Enable anonymous use of keep-web in integration tests.

Merge branch '5824-keep-web' into 5824-keep-web-workbench

Conflicts:
sdk/python/tests/run_test_server.py
services/keepproxy/keepproxy_test.go

5824: Merge branch 'master' into 5824-keep-web

Sync Gemfile.lock to current Gemfile.

amends 77460b2190e84df4178c25f014bbf136d559922e
refs #7582