7444: Clean stopped containers at startup.

7593: Add version hint to arvados-python-client.  Add get_uploaded() and
add_uploaded(). Add comments to clarify CollectionFsAccess._match

7444: Test deletion error handling.

7444: Note automatic removal of stopped containers, and how to disable.

7444: Delete containers as soon as they stop.

5824: Mention -anonymous-token in godoc. Sync usage messages.

5824: Give an anonymous token to keepproxy, not an admin token.

5824: Send keepproxy and keepstore logs to stderr via fifo, just like nginx_access_log.

6638/7370: Force new builds of Python backports with dependencies.

Even though we've declared these dependencies for a while now, Jenkins
has not published packages with them, because without a new upstream
version, fpm believes that there's no new package to build.  This
resolves that by building a new iteration of the affected packages.

This is less than ideal, because if a new version is released, we'll
automatically package it with iteration 2.  That is not correct, but
it doesn't affect any functionality, and we already have a plan to do
things properly in #6885.  So we'll live with "correct functionality,
gross aesthetics" until then.

Ward approved in conversation.  Refs #6638, #7370.

Merge branch '7668-crunch-node-properties-wip'

Closes #7668, #7672.

7668: Move node stats from info to properties in fixtures.

7668: crunch-dispatch gets node stats from properties field.

This information moved from the info field to the properties field as
part of #3605.  This simply updates crunch-dispatch to catch up with
the change.

5824: Enable anonymous use of keep-web in integration tests.

Merge branch '5824-keep-web' into 5824-keep-web-workbench

Conflicts:
sdk/python/tests/run_test_server.py
services/keepproxy/keepproxy_test.go

5824: Merge branch 'master' into 5824-keep-web

Sync Gemfile.lock to current Gemfile.

amends 77460b2190e84df4178c25f014bbf136d559922e
refs #7582

5824: Add -anonymous-token flag.

5824: Update arvadostest usage.

7534: move the print statement of the token obtained out the library into script.

5824: Merge branch 'master' into 5824-keep-web

5824: Add some clarifying comments and golint/vet/fmt fixes.

5824: Add comments and fix variable names, cf. golint.

5824: Add tests.

7534: return an existing token instead of creating a new each time; add tests.

7593: Add arvados-cwl-runner to disambiguate if there is a conflict over what
should be default cwl-runner.

7695: Docs reflect that docker_image can't be a collection UUID.

We intended to allow this, but it's not actually implemented.  Update
the docs for now.  We'll add the functionality in refs #7695.

5824: Add test for file in subdir.

5824: Clarify docs.

7534: refactor the code from create_superuser_token.rb script into lib and verify manually that existing behavior is preserved.

Fix typo in arvados-cli version number refs #7582

closes #7492
Merge branch '7492-keepproxy-upstream-errors'

Update Gemfile pin on arvados-cli to ensure latest crunch-job refs #7582

7167: update keep-rsync tests to use "Contains" instead of "HasSuffix" to make sure the error message checks pass even when retries happen.

Merge branch 'master' into 7492-keepproxy-upstream-errors

5824: Rename conventional dl.* to collections.*

5824: Rename cookie to arvados_api_token.

refs #7167
Add a log statement to see why the test failed intermittently.

7593: Make peter/crunchrunner the default repository (so that it works on
cloud.curoverse.com) until the deployment plan is sorted out.

7593: Generate files replaces $(task.keep)/ with keep: notation to reference
keep files.

5824: Rename keepdl to keep-web.

5824: Clarify docs.

5824: Fix wrong title.

Update redmine links in README.

No issue #

Merge branch 'master' into 7492-keepproxy-upstream-errors

Fix typo in example config file

No issue #

7492: add a test that simulates keep server unavailable error.

Merge branch 'master' into 7492-keepproxy-upstream-errors

closes #7453
Merge branch '7453-create-new-group-with-role'

7593: Fixup to use keep: URI scheme globbing for outputs.

7593: References to files in keep must have keep: URI scheme.  Improve error
handling.  Support configuring which git repo has crunchrunner.

7453: revert back to no generic "add new" button in all those pages.

7453: Upon Nico's request, put back the "Add a new" button in keep disks, keep services, and virtual machines pages.

Merge branch 'master' into 7492-keepproxy-upstream-errors

Merge branch '7582-crunch-runner' refs #7582

7453: Disable submit button in add group dialog until a name is entered.
Observed that the "Add a new user" button is offered in /users page even to non-admin users. Corrected this bug.
Deleted one test in errors_test that was trying to access the "Add new group" button in /groups page.
Also, deleted the one test in virtual_machines_test that were trying to click the "Add new" button.
Added a new test in users_test that clicks the "Add new group" button and verifies the group is added.

Merge branch '7160-azure-blob-doc' closes #7160

7160: Clarify exampleAccountName -> exampleStorageAccountName

7582: Fixup concurrency around signal catching and forwarding.

7453: do not display generic "add new" button in the groups, keep_disks, keep_services, links, nodes, and virtual_machines listing pages.

7160: Add Azure Storage config page, update keepstore help text, add run script.

7593: Don't upload the same files more than once.  Fix handling "./" in glob paths.

7453: Add "Add new group" button to user admin page.

Merge branch 'pr/25'

Closes #7307.

7307: Clarify intended failure in arv-git-httpd SplitHostPort test.

7582: Passes draft-2 conformance tests.

7492: add a keepproxy test with temporary connection refused error.

Merge branch '7587-pysdk-retry-test-wip'

Closes #7587, #7647.

7587: Add test for PySDK API client socket.error retries.

7587: Refactor PySDK API tests to use TestCaseWithServers.

History: first this test case used entirely mock responses.  Then we
started running the API server to provide a discovery document.  Then
people added tests that expected to talk to a real test server,
particularly test_empty_list and test_nonempty_list.  These tests
would talk to the API server configured in the user's environment, and
fail if that's not a test API server.

Using TestCaseWithServers fixes the immediate bug in the tests, and
better reflects the current real state of the test case.

7582: Fixup to work with latest cwltool.  Runs jobs with Go crunchrunner.

Merge branch '6600-retry-job-helpers'

refs #6600

Merge branch 'master' into 7492-keepproxy-upstream-errors

6600: Added Retryloop to task_set_output(), current_task(), and current_job() to python SDK

Merge branch 'master' into 7582-crunch-runner

Conflicts:
sdk/cli/bin/crunch-job

Merge branch '7582-run-any-docker-container' refs #7582

7582: Add test for stdbuf in /bin/sh bootstrap script.

7582: Adjust signal catching to eliminate races.  Tighten up code based on comments.

7492: cleanup error checking in keepproxy

Merge branch 'master' into 7492-keepproxy-upstream-errors

Merge branch '7587-httplib2-retries-wip'

Refs #7587.  Closes #7640.

7587: PySDK retries socket.error exceptions from API requests.

closes #7546
Merge branch '7546-put-retry'

7546: update comment to explain why we do not want to retry when status code is 503.

Merge branch 'master' into 7546-put-retry

7582: fix typo --user=$try_user to $try_user_arg

7582: Don't call stdbuf in minimal run mode.

7582: Make fields in Job, Task, TaskDefs public so that json loading reflection works.

7582: Add parameter substitution. Improve validity checking for filenames.
Adjust signal handling & added test.  Tweak behavior on exit code handling.
Move IArvadosClient to crunchrunner.

refs #7167
Merge branch '7167-keep-rsync'

Merge branch 'master' into 7167-keep-rsync

7582: Better reporting in the log about user probe behavior.

7582: Better reporting in the log about user probe behavior.

7582: Runner uploads results.  Feature complete.

7582: Uploader passes tests

7582: Uploader mostly done, writing tests

Fix multiple exception catching in arv-run.

The previous version catches IOError and binds the exception object to
the name OSError.  No issue #.

7582: More tests, add vwd support

7582: Working on tests.

7167: expand the src and dst help messages to list the config parameters that are to be included in the config files.

Merge branch '7015-update-user-guide'

closes #7015