Merge branch 'master' into 7492-keepproxy-upstream-errors

6600: Added Retryloop to task_set_output(), current_task(), and current_job() to python SDK

Merge branch 'master' into 7582-crunch-runner

Conflicts:
sdk/cli/bin/crunch-job

Merge branch '7582-run-any-docker-container' refs #7582

7582: Add test for stdbuf in /bin/sh bootstrap script.

7582: Adjust signal catching to eliminate races.  Tighten up code based on comments.

7492: cleanup error checking in keepproxy

Merge branch 'master' into 7492-keepproxy-upstream-errors

Merge branch '7587-httplib2-retries-wip'

Refs #7587.  Closes #7640.

7587: PySDK retries socket.error exceptions from API requests.

closes #7546
Merge branch '7546-put-retry'

7546: update comment to explain why we do not want to retry when status code is 503.

Merge branch 'master' into 7546-put-retry

7582: fix typo --user=$try_user to $try_user_arg

7582: Don't call stdbuf in minimal run mode.

7582: Make fields in Job, Task, TaskDefs public so that json loading reflection works.

7582: Add parameter substitution. Improve validity checking for filenames.
Adjust signal handling & added test.  Tweak behavior on exit code handling.
Move IArvadosClient to crunchrunner.

refs #7167
Merge branch '7167-keep-rsync'

Merge branch 'master' into 7167-keep-rsync

7582: Better reporting in the log about user probe behavior.

7582: Better reporting in the log about user probe behavior.

7582: Runner uploads results.  Feature complete.

7582: Uploader passes tests

7582: Uploader mostly done, writing tests

Fix multiple exception catching in arv-run.

The previous version catches IOError and binds the exception object to
the name OSError.  No issue #.

7582: More tests, add vwd support

7582: Working on tests.

7167: expand the src and dst help messages to list the config parameters that are to be included in the config files.

Merge branch '7015-update-user-guide'

closes #7015

SSO installation doc fix: to run rails console, you need to be in the
/var/www/arvados-sso/current directory.

closes #7623

7015: Removed whitespace

7582: Crunchrunner work in progress.

Merge branch 'master' into 7492-keepproxy-upstream-errors

6358: Fix probe order test logic.

This request order is OK with two threads: thread "0" just took a long
time to make its request.

expect 0 1 2 3 4 5 6 7
got    1 2 3 4 5 0 6 7

The inverse is not OK. This would mean 0 started before any of
1,2,3,4,5 finished.

expect 1 2 3 4 5 0 6 7
got    0 1 2 3 4 5 6 7

refs #6358

6358: Fix race opportunity in ThreadLimiter.

refs #6358

7582: (1) Probe for non-root Docker user to use instead of assuming "crunch".
Tries the default user for the container, then 'crunch', then 'nobody', testing
for whether the actual user id is non-zero.  This defends against mistakes but
not malice, but we intend to harden the security in the future so we don't want
anyone getting used to their jobs running as root in their Docker
containers.

(2) If arvados_sdk_version is not present, skip the "pipe to perl to install
the SDK" logic, but instead bootstrap with a small bash script that only
creates temporary directories and runs the crunch script.

7546: update some of the failure tests to use keepclient.Retries = 0, so that the tests do not waste too much time
retrying a test that is designed for failures. This update brings down the keepclient_test runtime from 49s to 10s.

Merge branch 'master' into 7546-put-retry

Merge branch 'master' into 7492-keepproxy-upstream-errors

7492: update keep-rsync test with bad blob signing key to expect Forbidden error instead of Block not found error.

7546: also retry when status code is 0, which is the case when a closed connection was used.

Merge branch 'pr/28'

Closes #7324.

Clean redundant except: blocks in run_test_server.

7324: Tighten exception ignoring in run_test_server start_nginx.

We just want to make sure the FIFO's gone.  Ignore the OSError that
says "can't remove it because it's already gone," and re-raise all
others.

Merge branch 'master' into 7546-put-retry

7492: better error reporting of upstream errors in keepproxy.

Merge branch '6358-put-rendezvous' closes #6358

5824: Leave "install keep-web" page out of install guide TOC for now.

7499: Update development link in Workbench "Getting Started" popup.

Also, de-hyphenate "open source."

Refs #7499.

Merge branch 'master' into 7546-put-retry

refs #7167
Merge branch '7167-keep-rsync'

Merge branch 'master' into 7167-keep-rsync

5824: Fixup nginx and workbench configs

7546: enhance putReplicas method to retry.

Merge branch '7173-jessie'

closes #7173

5824: gofmt

5824: Add -attachment-only-host feature.

5824: Implement "trust all content" mode.

5824: Add read-error and lots-of-blocks tests.

5824: Fix up DNS docs.

5824: Log X-Forwarded-For header value if provided.

5824: Fail at startup if ARVADOS_API_HOST is not set.

5824: Accept anonymous tokens on command line.

5824: Handle various combinations of c= and t= more consistently. Use vhosts in integration tests.

5824: Comment to explain "authorizer" test helpers.

5824: Fix up support for PDH in vhostname.

5824: Modernize install page, cf. other services.

5824: Clarify difference between keepproxy and keepstore (bandwidth and convenience -- not security).

5824: Update keepproxy usage.

5824: Fix up error checking and early-close behavior inCollectionFileReader.

5824: Add Content-Length header.

5824: Use vhosts in curl integration tests. Add large file test.

5824: Support vhost-based collection lookups.

6358: Test partial ordering with multiple writer threads.

6358: Fix rendezvous probe order on Put.

Bug #1 was that KeepClient.put() was starting threads in the order
given by roots_map.iteritems(), instead of the order they were
supplied by weighted_service_roots(). This is fixed by using the same
logic get() was using.

Bug #2 was that ThreadLimiter didn't unblock threads in the same order
they were created by put(). This is fixed by adding a "set_sequence"
method to ThreadLimiter to indicate the order in which threads should
be unblocked.

The new test case confirms that put(copies=1) always makes requests in
the correct order.

7015: Finished going through user guide

Merge branch '6321-slurm-oserror' closes #6321

6321: Add note about rationale for retrying on OSError.

6321: Add test that OSError is caught from slurm subprocess invocations.

7167: Remove StartKeepWithParams and StopKeepWithParams and make StartKeep and StopKeep with parameters the only exposed funcs.
The update was small enough, about 10 usages in the entire code, and hence did not make sense to postpone it for a "better" time.

7324: Implemented deletion of previous nginx access log fifo before creation,
as discussed with @jrandall to address issue raised by @brettcs
(see: https://github.com/curoverse/arvados/pull/28#discussion_r39689972).

7167: Break all the code from keep-rsync main method into a separate func so that arg parsing can also be tested.
Rather than using default flag parsing, use FlagSet so that flags can be set multiple times from multiple tests.

7015: Checked up to Concurrent Crunch tasks

5824: add (*KeepClient)CollectionFileReader()

5824: Add doc.go

5824: Add install doc

5824: Assign MIME type by file extension. closes #6327

5824: Add keepdl.

Merge branch '7159-keepexercise' refs #7159

7159: Add keep-exercise

Merge branch 'wtsi-hgi-feature/arv-view'

refs #7204

7204: Tweak usage message, add a .shellescape, fix error-reporting error

closes #7167
Merge branch '7167-keep-rsync'

Merge branch 'master' into 7167-keep-rsync

Merge branch 'master' into 7167-keep-rsync

Conflicts:
sdk/go/keepclient/keepclient.go

7173: Update bundle.

Recent firefox requires recent selenium-webdriver.

Merge branch '7173-jessie' refs #7173

7173: Add jessie to supported distro list.

7167: update the progress message to say "est. time remaining" instead of "ETA" which is not accurate in this case.

7167: rename the newly added StopKeepServers as StopKeepWithParams; it now sounds similar to StartKeepWithParams and is self explanatory.