5538: Merge FailHandler and FailThenSucceedHandler into one APIStub to facilitate testing many more error states; also add update and delete retry tests.

5538: code improvements; use switch statement instead of if statement with several status code checks, sleep between retries.

5538: update the newly added TestFail* to use proper client with http.Transport

Merge branch 'master' into 5538-arvadosclient-retry

Conflicts:
sdk/go/arvadosclient/arvadosclient.go

refs #5538
Merge branch '5538-close-idle-connections'

5538: update test to reuse arvados client in TestCreatePipelineTemplate between idle and current connections.

Merge branch 'master' into 5538-close-idle-connections

closes #7719
Merge branch '7719-permit-net-delete'

7719: permit never-delte to be set to false; add warning that datamanager is not yet fully tested.

5538: add test with a connection idle for longer than MaxIdleConnectionDuration

Merge branch 'master' into 5538-close-idle-connections

Merge branch '7713-node-manager-blacklist-broken-nodes-wip'

Closes #7713, #7718.

5538: using fake arvados server to generate errors, added tests with retries.

7713: Node Manager blackholes broken nodes that can't shut down.

We are seeing situations on Azure where some nodes in an UNKNOWN state
cannot be shut down.  The API call to destroy them always fails.

There are two related halves to this commit.  In the first half,
after a cloud shutdown request fails, ComputeNodeShutdownActor checks
whether the node is broken.  If it is, it cancels shutdown retries.

In the second half, the daemon checks for this shutdown outcome.  When
it happens, it blacklists the broken node: it will immediately filter
it out of node lists from the cloud.  It is no longer monitored in any
way or counted as a live node, so Node Manager will boot a replacement
for it.

This lets Node Manager create cloud nodes above max_nodes, up to the
number of broken nodes.  We're reasonably bounded in for now because
only the Azure driver will ever declare a node broken.  Other clouds
will never blacklist nodes this way.

Merge branch 'master' into 5538-arvadosclient-retry

5538: close any idle connections before a POST or DELETE request.

5538: retry failed arvados api requests when appropriate.

Merge branch '7444-dockercleaner-containers' closes #7444

Merge branch '5824-keep-web'

refs #5824

5824: Merge branch 'master' into 5824-keep-web

5824: Avoid sending empty slices through toRead chan. Fixes race in test case.

5824: Turn off debug printfs unless enabled by calling program.

closes #7534
Merge branch '7534-superuser-token'

Merge branch 'master' into 7534-superuser-token

5824: Use session cookie instead of persistent.

5824: Clarity edits in usage docs.

Merge branch '7593-cwl-crunchrunner' closes #7593

7444: Rename kwarg remove_stopped_containers -> remove_containers_onexit

7444: Set docker container name to {taskUUID}-{attemptNum}.

7444: Do not remove docker containers with docker --rm; let dockercleaner do it.

7444: Clean stopped containers at startup.

7593: Add version hint to arvados-python-client.  Add get_uploaded() and
add_uploaded(). Add comments to clarify CollectionFsAccess._match

7444: Test deletion error handling.

7444: Note automatic removal of stopped containers, and how to disable.

7444: Delete containers as soon as they stop.

5824: Mention -anonymous-token in godoc. Sync usage messages.

6638/7370: Force new builds of Python backports with dependencies.

Even though we've declared these dependencies for a while now, Jenkins
has not published packages with them, because without a new upstream
version, fpm believes that there's no new package to build.  This
resolves that by building a new iteration of the affected packages.

This is less than ideal, because if a new version is released, we'll
automatically package it with iteration 2.  That is not correct, but
it doesn't affect any functionality, and we already have a plan to do
things properly in #6885.  So we'll live with "correct functionality,
gross aesthetics" until then.

Ward approved in conversation.  Refs #6638, #7370.

Merge branch '7668-crunch-node-properties-wip'

Closes #7668, #7672.

7668: Move node stats from info to properties in fixtures.

7668: crunch-dispatch gets node stats from properties field.

This information moved from the info field to the properties field as
part of #3605.  This simply updates crunch-dispatch to catch up with
the change.

5824: Merge branch 'master' into 5824-keep-web

Sync Gemfile.lock to current Gemfile.

amends 77460b2190e84df4178c25f014bbf136d559922e
refs #7582

5824: Add -anonymous-token flag.

5824: Update arvadostest usage.

7534: move the print statement of the token obtained out the library into script.

5824: Merge branch 'master' into 5824-keep-web

5824: Add some clarifying comments and golint/vet/fmt fixes.

5824: Add comments and fix variable names, cf. golint.

5824: Add tests.

7534: return an existing token instead of creating a new each time; add tests.

7593: Add arvados-cwl-runner to disambiguate if there is a conflict over what
should be default cwl-runner.

7695: Docs reflect that docker_image can't be a collection UUID.

We intended to allow this, but it's not actually implemented.  Update
the docs for now.  We'll add the functionality in refs #7695.

5824: Add test for file in subdir.

5824: Clarify docs.

7534: refactor the code from create_superuser_token.rb script into lib and verify manually that existing behavior is preserved.

Fix typo in arvados-cli version number refs #7582

closes #7492
Merge branch '7492-keepproxy-upstream-errors'

Update Gemfile pin on arvados-cli to ensure latest crunch-job refs #7582

7167: update keep-rsync tests to use "Contains" instead of "HasSuffix" to make sure the error message checks pass even when retries happen.

Merge branch 'master' into 7492-keepproxy-upstream-errors

5824: Rename conventional dl.* to collections.*

5824: Rename cookie to arvados_api_token.

refs #7167
Add a log statement to see why the test failed intermittently.

7593: Make peter/crunchrunner the default repository (so that it works on
cloud.curoverse.com) until the deployment plan is sorted out.

7593: Generate files replaces $(task.keep)/ with keep: notation to reference
keep files.

5824: Rename keepdl to keep-web.

5824: Clarify docs.

5824: Fix wrong title.

Update redmine links in README.

No issue #

Merge branch 'master' into 7492-keepproxy-upstream-errors

Fix typo in example config file

No issue #

7492: add a test that simulates keep server unavailable error.

Merge branch 'master' into 7492-keepproxy-upstream-errors

closes #7453
Merge branch '7453-create-new-group-with-role'

7593: Fixup to use keep: URI scheme globbing for outputs.

7593: References to files in keep must have keep: URI scheme.  Improve error
handling.  Support configuring which git repo has crunchrunner.

7453: revert back to no generic "add new" button in all those pages.

7453: Upon Nico's request, put back the "Add a new" button in keep disks, keep services, and virtual machines pages.

Merge branch 'master' into 7492-keepproxy-upstream-errors

Merge branch '7582-crunch-runner' refs #7582

7453: Disable submit button in add group dialog until a name is entered.
Observed that the "Add a new user" button is offered in /users page even to non-admin users. Corrected this bug.
Deleted one test in errors_test that was trying to access the "Add new group" button in /groups page.
Also, deleted the one test in virtual_machines_test that were trying to click the "Add new" button.
Added a new test in users_test that clicks the "Add new group" button and verifies the group is added.

Merge branch '7160-azure-blob-doc' closes #7160

7160: Clarify exampleAccountName -> exampleStorageAccountName

7582: Fixup concurrency around signal catching and forwarding.

7453: do not display generic "add new" button in the groups, keep_disks, keep_services, links, nodes, and virtual_machines listing pages.

7160: Add Azure Storage config page, update keepstore help text, add run script.

7593: Don't upload the same files more than once.  Fix handling "./" in glob paths.

7453: Add "Add new group" button to user admin page.

Merge branch 'pr/25'

Closes #7307.

7307: Clarify intended failure in arv-git-httpd SplitHostPort test.

7582: Passes draft-2 conformance tests.

7492: add a keepproxy test with temporary connection refused error.

Merge branch '7587-pysdk-retry-test-wip'

Closes #7587, #7647.

7587: Add test for PySDK API client socket.error retries.

7587: Refactor PySDK API tests to use TestCaseWithServers.

History: first this test case used entirely mock responses.  Then we
started running the API server to provide a discovery document.  Then
people added tests that expected to talk to a real test server,
particularly test_empty_list and test_nonempty_list.  These tests
would talk to the API server configured in the user's environment, and
fail if that's not a test API server.

Using TestCaseWithServers fixes the immediate bug in the tests, and
better reflects the current real state of the test case.

7582: Fixup to work with latest cwltool.  Runs jobs with Go crunchrunner.

Merge branch '6600-retry-job-helpers'

refs #6600

Merge branch 'master' into 7492-keepproxy-upstream-errors

6600: Added Retryloop to task_set_output(), current_task(), and current_job() to python SDK

Merge branch 'master' into 7582-crunch-runner

Conflicts:
sdk/cli/bin/crunch-job