Merge branch '7015-update-user-guide'

closes #7015

SSO installation doc fix: to run rails console, you need to be in the
/var/www/arvados-sso/current directory.

closes #7623

7015: Removed whitespace

6358: Fix probe order test logic.

This request order is OK with two threads: thread "0" just took a long
time to make its request.

expect 0 1 2 3 4 5 6 7
got    1 2 3 4 5 0 6 7

The inverse is not OK. This would mean 0 started before any of
1,2,3,4,5 finished.

expect 1 2 3 4 5 0 6 7
got    0 1 2 3 4 5 6 7

refs #6358

6358: Fix race opportunity in ThreadLimiter.

refs #6358

Merge branch 'pr/28'

Closes #7324.

Clean redundant except: blocks in run_test_server.

7324: Tighten exception ignoring in run_test_server start_nginx.

We just want to make sure the FIFO's gone.  Ignore the OSError that
says "can't remove it because it's already gone," and re-raise all
others.

Merge branch '6358-put-rendezvous' closes #6358

7499: Update development link in Workbench "Getting Started" popup.

Also, de-hyphenate "open source."

Refs #7499.

refs #7167
Merge branch '7167-keep-rsync'

Merge branch 'master' into 7167-keep-rsync

Merge branch '7173-jessie'

closes #7173

6358: Test partial ordering with multiple writer threads.

6358: Fix rendezvous probe order on Put.

Bug #1 was that KeepClient.put() was starting threads in the order
given by roots_map.iteritems(), instead of the order they were
supplied by weighted_service_roots(). This is fixed by using the same
logic get() was using.

Bug #2 was that ThreadLimiter didn't unblock threads in the same order
they were created by put(). This is fixed by adding a "set_sequence"
method to ThreadLimiter to indicate the order in which threads should
be unblocked.

The new test case confirms that put(copies=1) always makes requests in
the correct order.

7015: Finished going through user guide

Merge branch '6321-slurm-oserror' closes #6321

6321: Add note about rationale for retrying on OSError.

6321: Add test that OSError is caught from slurm subprocess invocations.

7167: Remove StartKeepWithParams and StopKeepWithParams and make StartKeep and StopKeep with parameters the only exposed funcs.
The update was small enough, about 10 usages in the entire code, and hence did not make sense to postpone it for a "better" time.

7324: Implemented deletion of previous nginx access log fifo before creation,
as discussed with @jrandall to address issue raised by @brettcs
(see: https://github.com/curoverse/arvados/pull/28#discussion_r39689972).

7167: Break all the code from keep-rsync main method into a separate func so that arg parsing can also be tested.
Rather than using default flag parsing, use FlagSet so that flags can be set multiple times from multiple tests.

7015: Checked up to Concurrent Crunch tasks

Merge branch '7159-keepexercise' refs #7159

7159: Add keep-exercise

Merge branch 'wtsi-hgi-feature/arv-view'

refs #7204

7204: Tweak usage message, add a .shellescape, fix error-reporting error

closes #7167
Merge branch '7167-keep-rsync'

Merge branch 'master' into 7167-keep-rsync

Merge branch 'master' into 7167-keep-rsync

Conflicts:
sdk/go/keepclient/keepclient.go

7173: Update bundle.

Recent firefox requires recent selenium-webdriver.

Merge branch '7173-jessie' refs #7173

7173: Add jessie to supported distro list.

7167: update the progress message to say "est. time remaining" instead of "ETA" which is not accurate in this case.

7167: rename the newly added StopKeepServers as StopKeepWithParams; it now sounds similar to StartKeepWithParams and is self explanatory.

Merge branch '7167-keep-rsync' of git.curoverse.com:arvados into 7167-keep-rsync

7167: Always pass --num-keep-servers to python wrapper. Update comments.

7167: Rename conf flags to -src and -dst to match arv-copy. Always add .conf for short form.

7167: Fix up progress/ETA logging.

Merge branch '7491-go-keepclient-retry' closes #7491

7491: Remove unnecessary writable service roots from GET tests.

Merge branch 'master' into wtsi-hgi-feature/arv-view

Conflicts:
sdk/cli/bin/arv

Merge branch 'master' into 7167-keep-rsync

7167: log progress during keep-rsync and several test improvements.

7015: Checked up to Working with data sets

API server needs an arvados-cli with crunch-job --docker-bin.

crunch-dispatch was extended to use `crunch-job --docker-bin` in
#6838.  This commit simply updates the Gemfile to ensure this
dependency is satisfied.  No issue #.

Merge branch 'master' into 7167-keep-rsync

7015: Tested up to Accessing an Arvados VM with Webshell

Merge branch '7167-propagate-error' refs #7167

Merge branch '7159-clean-index' refs #7159 refs #7168

7167: loadConfig setupKeepclient do only one set at a time.

6321: Add OSError to slurm shutdown actor retry conditions, to catch and retry
subprocess errors from the operating system, which is preferrable to crashing
the shutdown actor.

7167: when the config file does not contain '/', use $HOME/.config/arvados/<filename>.

7167: replace keep_existing with num_keep_servers and use it create all required keep servers at once.

7167: replace the keep_existing logic and create all 3 keep servers at once and use the first two as src keepservers and the last one as the dst keep server.

7167: Convert blobSigningKey also into local variable and make necessary changes to accommodate this change.
Remove the New method added in arvadosclient.go and revert MakeArvadosClient to what it was before.

7167: update run_test_servers.py to use action="store_true" instead of converting string to boolean.

7159: Address golint complaints

7159: Omit non-Keep blobs from index

Merge branch 'master' into 7167-keep-rsync

7167: Convert most of the globals in keep-sync into locals and update all the code and tests as needed.

7159: Return benign os.ErrNotExist error from Compare to avoid excessive logs. refs #7159

7159: Fix error handling when reading full size block. refs #7159

7167: Propagate read errors to caller. Fixes failing TestTransferShortBuffer.

Warn about unhandled case if broken node has no ping time. refs #7286

Merge branch '7159-empty-blob-race' refs #7159

7159: Shorten race waits during generic tests

7159: Log when waiting for get/put races

7159: Exclude new empty blocks from index.

7159: Test race deadline

7159: Work around CreateBlob race by polling for updates when a brand new blob is found empty.

7167: break load config logic out of main into loadConfig func and add several tests.

7167: some more error tests such as error getting block from src and error putting block to dst.

7167: stop rsync operation on any errors during Get or Put operations; add additional tests.

Merge branch '7167-keep-rsync-test-setup' into 7167-keep-rsync

Merge branch 'master' into 7167-keep-rsync-test-setup

Conflicts:
sdk/go/keepclient/perms.go
sdk/go/keepclient/perms_test.go
services/keepstore/perms.go
services/keepstore/perms_test.go

7491: Fix response body close, error logging.

Merge branch 'master' into 7491-go-keepclient-retry

Conflicts:
sdk/go/keepclient/keepclient.go

7491: Remove KeepServerError, all errors are BlockNotFound errors for now.
Refactor Get() and Ask() to use common function.

Merge branch '7491-keepclient-bugs' refs #7491

7491: Go through entire server list instead of immediately retrying on error.
Only retry servers that resulted in an error (network or HTTP 5xx error).

Merge branch '7167-blob-sign-sdk' refs #7167

7491: Manual merge with 7491-keepclient-bugs

7491: Add test that default replication is read from discovery document.

7167: Deobfuscate variable names

7167: Update tests and comments to new error vars.

7167: Fix up comments

7167: Replace duplicate tests with PermissionSecret tests

7491: Go keepclient retries GET on either network error, or 500 error from
server.  Retry count is KeepClient.Retries.  Also updated KeepClient
constructor to use "defaultCollectionReplication" from discovery document if
available.

Version the CWL runner's dependency on cwltool.

cwltool development is continuing on with API-incompatible changes.
No issue #.

Merge branch '7167-keep-rsync-test-setup' into 7167-keep-rsync

7167: default replications count from discovery doc test updates.

7167: add tests with prefix during rsync

7167: Tidy up errors. Remove extra comment copy.

7167: move perms code from keepstore into keepclient go SDK.

Merge branch '7167-keep-rsync-test-setup' into 7167-keep-rsync

Conflicts:
tools/keep-rsync/keep-rsync_test.go

6967: Update test to match improved code.

refs #6967

7167: add tests to replications count

7167: get replications count from destination api discovery doc and use it as default.

7491: Ensure status channel stays open until all upload workers finish.