Merge branch '5824-keep-web' into 5824-keep-web-workbench

Conflicts:
sdk/python/tests/run_test_server.py
services/keepproxy/keepproxy_test.go

5824: Merge branch 'master' into 5824-keep-web

Sync Gemfile.lock to current Gemfile.

amends 77460b2190e84df4178c25f014bbf136d559922e
refs #7582

5824: Add -anonymous-token flag.

5824: Update arvadostest usage.

5824: Merge branch 'master' into 5824-keep-web

5824: Add some clarifying comments and golint/vet/fmt fixes.

5824: Add comments and fix variable names, cf. golint.

5824: Add tests.

7695: Docs reflect that docker_image can't be a collection UUID.

We intended to allow this, but it's not actually implemented.  Update
the docs for now.  We'll add the functionality in refs #7695.

5824: Add test for file in subdir.

5824: Clarify docs.

Fix typo in arvados-cli version number refs #7582

closes #7492
Merge branch '7492-keepproxy-upstream-errors'

Update Gemfile pin on arvados-cli to ensure latest crunch-job refs #7582

7167: update keep-rsync tests to use "Contains" instead of "HasSuffix" to make sure the error message checks pass even when retries happen.

Merge branch 'master' into 7492-keepproxy-upstream-errors

5824: Rename conventional dl.* to collections.*

5824: Rename cookie to arvados_api_token.

refs #7167
Add a log statement to see why the test failed intermittently.

5824: Rename keepdl to keep-web.

5824: Clarify docs.

5824: Fix wrong title.

Update redmine links in README.

No issue #

Merge branch 'master' into 7492-keepproxy-upstream-errors

Fix typo in example config file

No issue #

7492: add a test that simulates keep server unavailable error.

Merge branch 'master' into 7492-keepproxy-upstream-errors

closes #7453
Merge branch '7453-create-new-group-with-role'

7453: revert back to no generic "add new" button in all those pages.

7453: Upon Nico's request, put back the "Add a new" button in keep disks, keep services, and virtual machines pages.

Merge branch 'master' into 7492-keepproxy-upstream-errors

Merge branch '7582-crunch-runner' refs #7582

7453: Disable submit button in add group dialog until a name is entered.
Observed that the "Add a new user" button is offered in /users page even to non-admin users. Corrected this bug.
Deleted one test in errors_test that was trying to access the "Add new group" button in /groups page.
Also, deleted the one test in virtual_machines_test that were trying to click the "Add new" button.
Added a new test in users_test that clicks the "Add new group" button and verifies the group is added.

Merge branch '7160-azure-blob-doc' closes #7160

7160: Clarify exampleAccountName -> exampleStorageAccountName

7582: Fixup concurrency around signal catching and forwarding.

7453: do not display generic "add new" button in the groups, keep_disks, keep_services, links, nodes, and virtual_machines listing pages.

7160: Add Azure Storage config page, update keepstore help text, add run script.

7453: Add "Add new group" button to user admin page.

Merge branch 'pr/25'

Closes #7307.

7307: Clarify intended failure in arv-git-httpd SplitHostPort test.

7492: add a keepproxy test with temporary connection refused error.

Merge branch '7587-pysdk-retry-test-wip'

Closes #7587, #7647.

7587: Add test for PySDK API client socket.error retries.

7587: Refactor PySDK API tests to use TestCaseWithServers.

History: first this test case used entirely mock responses.  Then we
started running the API server to provide a discovery document.  Then
people added tests that expected to talk to a real test server,
particularly test_empty_list and test_nonempty_list.  These tests
would talk to the API server configured in the user's environment, and
fail if that's not a test API server.

Using TestCaseWithServers fixes the immediate bug in the tests, and
better reflects the current real state of the test case.

Merge branch '6600-retry-job-helpers'

refs #6600

Merge branch 'master' into 7492-keepproxy-upstream-errors

6600: Added Retryloop to task_set_output(), current_task(), and current_job() to python SDK

Merge branch 'master' into 7582-crunch-runner

Conflicts:
sdk/cli/bin/crunch-job

Merge branch '7582-run-any-docker-container' refs #7582

7582: Add test for stdbuf in /bin/sh bootstrap script.

7582: Adjust signal catching to eliminate races.  Tighten up code based on comments.

7492: cleanup error checking in keepproxy

Merge branch 'master' into 7492-keepproxy-upstream-errors

Merge branch '7587-httplib2-retries-wip'

Refs #7587.  Closes #7640.

7587: PySDK retries socket.error exceptions from API requests.

closes #7546
Merge branch '7546-put-retry'

7546: update comment to explain why we do not want to retry when status code is 503.

Merge branch 'master' into 7546-put-retry

7582: fix typo --user=$try_user to $try_user_arg

7582: Don't call stdbuf in minimal run mode.

7582: Make fields in Job, Task, TaskDefs public so that json loading reflection works.

7582: Add parameter substitution. Improve validity checking for filenames.
Adjust signal handling & added test.  Tweak behavior on exit code handling.
Move IArvadosClient to crunchrunner.

refs #7167
Merge branch '7167-keep-rsync'

Merge branch 'master' into 7167-keep-rsync

7582: Better reporting in the log about user probe behavior.

7582: Better reporting in the log about user probe behavior.

7582: Runner uploads results.  Feature complete.

7582: Uploader passes tests

7582: Uploader mostly done, writing tests

Fix multiple exception catching in arv-run.

The previous version catches IOError and binds the exception object to
the name OSError.  No issue #.

7582: More tests, add vwd support

7582: Working on tests.

7167: expand the src and dst help messages to list the config parameters that are to be included in the config files.

Merge branch '7015-update-user-guide'

closes #7015

SSO installation doc fix: to run rails console, you need to be in the
/var/www/arvados-sso/current directory.

closes #7623

7015: Removed whitespace

7582: Crunchrunner work in progress.

Merge branch 'master' into 7492-keepproxy-upstream-errors

6358: Fix probe order test logic.

This request order is OK with two threads: thread "0" just took a long
time to make its request.

expect 0 1 2 3 4 5 6 7
got    1 2 3 4 5 0 6 7

The inverse is not OK. This would mean 0 started before any of
1,2,3,4,5 finished.

expect 1 2 3 4 5 0 6 7
got    0 1 2 3 4 5 6 7

refs #6358

6358: Fix race opportunity in ThreadLimiter.

refs #6358

7582: (1) Probe for non-root Docker user to use instead of assuming "crunch".
Tries the default user for the container, then 'crunch', then 'nobody', testing
for whether the actual user id is non-zero.  This defends against mistakes but
not malice, but we intend to harden the security in the future so we don't want
anyone getting used to their jobs running as root in their Docker
containers.

(2) If arvados_sdk_version is not present, skip the "pipe to perl to install
the SDK" logic, but instead bootstrap with a small bash script that only
creates temporary directories and runs the crunch script.

7546: update some of the failure tests to use keepclient.Retries = 0, so that the tests do not waste too much time
retrying a test that is designed for failures. This update brings down the keepclient_test runtime from 49s to 10s.

Merge branch 'master' into 7546-put-retry

Merge branch 'master' into 7492-keepproxy-upstream-errors

7492: update keep-rsync test with bad blob signing key to expect Forbidden error instead of Block not found error.

7546: also retry when status code is 0, which is the case when a closed connection was used.

Merge branch 'pr/28'

Closes #7324.

Clean redundant except: blocks in run_test_server.

7324: Tighten exception ignoring in run_test_server start_nginx.

We just want to make sure the FIFO's gone.  Ignore the OSError that
says "can't remove it because it's already gone," and re-raise all
others.

Merge branch 'master' into 7546-put-retry

7492: better error reporting of upstream errors in keepproxy.

Merge branch '6358-put-rendezvous' closes #6358

5824: Leave "install keep-web" page out of install guide TOC for now.

7499: Update development link in Workbench "Getting Started" popup.

Also, de-hyphenate "open source."

Refs #7499.

Merge branch 'master' into 7546-put-retry

refs #7167
Merge branch '7167-keep-rsync'

Merge branch 'master' into 7167-keep-rsync

5824: Fixup nginx and workbench configs