6967: More helpful comment & assertion failure message

6967: Use git status --porcelain to isolate from user config

6967: Move source_version detection code from config yaml to lib/app_version.rb.

6967: Move source_version detection code from config yaml to lib/app_version.rb.

6967: Treat blob_signing_key like a secret in `rake config:check`.

Merge branch '7435-node-manager-shutdown-cleanup-wip'

Closes #7435, #7445.

7435: Node Manager stops trying to shut down delisted cloud nodes.

If the underlying node is gone, trying to destroy it in the cloud will
almost certainly fail.  It's hard to predict what will happen to
related actions like draining the node in SLURM.  Just cancel the
attempt, and trust other systems like SLURM and Crunch to deal with
the disappearance on their own.

Merge branch '7286-nodeman-destroy-broken-nodes' closes #7286

7286: Add comments clarifying arvados_node_missing() and broken().  Also bump
up version dependency to dev4.

7214: Fix "X-Keep-Replicas-Stored: 0" header when block is already present. refs #7214

Merge branch '7241-azure-blob-volume' closes #7241

7286: Add BaseHTTPError to list of "cloud errors"

7286: Add drain* and fail* to SLURM_END_STATES, because the '*' means the node
is out of contact with slurm.

7286: Fix double count of missing nodes in shutdown

7286: Missing nodes are considered in "excess" count (reverts previous change).  Added test.  Also remove debug log statement.

7286: Compute "missing" based on "last_ping_at" instead of using API server's
buggy "status" field.

closes #7200
Merge branch '7200-keepproxy-index-api'

7200: more compact CheckAuthorizationHeader block

7200: Use io.Copy instead of reading all bytes and writing to response. Much improved keep proxy test with code reuse.

7286: Add test that "missing" nodes are not counted towards "busy" (but are
counted towards node max).

7207: Remove `arv keep check` and `arv keep less`.

The implementations are no longer maintained and these are stale
references.  Closes #7207.

7263: crunch-job checks for refreshes every two seconds.

This avoids the possibility that a constant stream of data from tasks
can prevent the job from being canceled.  Refs #7263.

7200: no need to set content length header in keepproxy IndexHandler since the response is always terminated by a blank new line.

7200: Use if statement instead of switch to check http method in keepclient; strip terminating empty line from response in keepclient.
Update tests accordingly. Also, improve keepproxy test to verify that "other" locators are included when no prefix is used in GetIndex requests.

Merge branch 'master' into 7200-keepproxy-index-api

7286: Tests for new "missing and broken" shutdown policy.

Merge branch 'master' into 7241-azure-blob-volume

Conflicts:
services/keepstore/volume_generic_test.go
services/keepstore/handlers_with_generic_volume_test.go

7241: Use If-Match header to address Delete/Put races.

Merge branch '7330-improved-sso-package'

closes #7330

Merge branch 'master' into 7330-improved-sso-package

refs #7330

More language tweaks.

refs #7330

refs #6859
Added include statement to the script.

7330: 'edit' should be replaced by 'editor' that will go to the default editor of the ditro

refs #7330

7286: Move logic to shut down newly booted nodes nodes that haven't pinged to
ComputeNodeMonitorActor.  Shut down nodes if they have "missing" status and are
"broken" according to the cloud client.  Don't count "missing" nodes as "up"
when deciding whether to boot more nodes.

7330: making sso install guide similar to workbench and api server

refs #7330

7330: apt-get command had a typo

refs #7330

7330: curl isnt available by default in ubuntu 14.04. added the apt-get

refs #7330

Another tweak for the SSO server installation guide: the PostgreSQL
service needs to be started manually if it was pulled in as a dependency
by arvados-sso-server.

refs #7330

More improvements for the SSO server installation guide.

refs #7330

Update the SSO installation documentation to reflect the new and
improved packages.

refs #7330

Merge branch 'master' into 7200-keepproxy-index-api

7200: rename error variables to meet golint suggestions.

7200: The incomplete response when no such prefix exists will be "\n". Update keepclient and keepproxy to expect this.
Also, added some more comments and golint checks for the newly added code.

6034: added scafolding of the first initscript

refs #6034

7241: Use new CreateBlockBlobFromReader and SetBlobMetadata APIs for Put and Touch.

Ruby 2.1.7 is out, update documentation accordingly.

No issue #

7200: add GetIndex function to keepclient; add IndexHandler to keepproxy.

Merge branch 'pr/29'

Closes #7388.

Change ssh public key to 700 after key-sync

7241: Do not bother trying to add a volume if credential args are missing/empty.

7241: Add -azure-storage-replication flag.

7241: Stub Azure API calls

closes #7161
Merge branch '7161-support-all-service-types'

Merge branch '7161-support-all-service-types' of git.curoverse.com:arvados into 7161-support-all-service-types

7161: Use default value of 1 for max_replicas_per_service and set it to None when writable non-disk type services are found.

7161: white space

7161: clarify max_replicas_per_service

7161: Look for all service hints, not just keep proxy. Also, use thread count of 1 when it not a disk.

closes #7162
Merge branch '7162-support-service-types'

7162: Removed the call to get keep_disks when there is an error getting keep_services,
since keep_services has been available since May 2014, #2776 according to Tom.

Merge branch 'master' into 7162-support-service-types

Merge branch '7227-crunch-job-stricter-unmount-wip'

Closes #7227, #7376.

7227: crunch-job only unmounts Keep mounts under $CRUNCH_TMP.

This prevents it from trying to unmount other Keep mounts elsewhere on
the system, and considering the cleanup step failed because of that.

Merge branch '6967-application-yml-without-git-wip'

Closes #6967, #7375.

6967: Extend application.default.yml source_version detection.

* In production, get source_version from our package's
  git-commit.version, assuming it's available.
* When we get source information from Git, suppress errors from the
  user, and only use the information if all queries succeed.

6967: Remove trailing whitespace in Workbench's application.default.yml.

7161: working

Merge branch 'master' into 7161-support-all-service-types

Merge branch 'master' into 7162-support-service-types

7162: updated comment

Merge branch '7181-crunch-missing-git' closes #7181

Merge branch '7228-crunch-dispatch-umask' closes #7228

7162: move replicasPerThread logic outside the for loop.

7181: Check for [Errno 2] in the output and assume that means git is missing.
Remove --quite to get more output if egg_info fails.  Use "warn" instead of
"print" because "print" doesn't seem to actually make it to the logs.

7162: SetServiceRoots keepproxy hints only (revert my update).

7161: white space

7161: clarify max_replicas_per_service

Merge branch 'master' into 7162-support-service-types

7241: Add Delete, IndexTo, Touch, and Mtime.

7241: Add Put() and Check()

closes #7329
Merge branch '7329-empty-block-issue'

7321: arvados/jobs Dockerfile installs python-pip.

This is also for arvados_sdk_version support.  I thought pip was a
dependency of virtualenv, but it's not.  Refs #7321.

7241: Accept command line flags for Azure blob volumes.

Merge branch 'master' into 7329-empty-block-issue

7329: improved TestableVolumeManagerFactory method signature, teardown logic, comments and test file name.

7321: arvados/jobs Dockerfile installs development headers.

These are necessary to build all of the Python SDK's dependencies when
running a job that defines arvados_sdk_version.

Closes #7321.

Merge branch 'master' into 7329-empty-block-issue

7161: Look for all service hints, not just keep proxy. Also, use thread count of 1 when it not a disk.

7228: Set umask to 002 so cache files are created writable other processes with same GID.

Merge branch '7225-collection-hang' closes #7225

7241: Add AzureBlobVolume

7329: since moved functional testing into generic testing, removing now redundant empty block tests from volume_unix_test.go and keepstore_test.go.

7329: add generic volume based keepstore tests to have better functional test coverage.

7225: Better exception handling for unexpected state changes.

7225: Add test to validate fix that 2nd commit call blocks until block is committed
as intended.

7225: Fix typo in _BufferBlock.set_state() that resulted in "wait for pending
block commit" code getting skipped.  Set PUT thread to daemon thread; users
must call save() or flush() or use `with` to guarantee that blocks get written.

Merge branch 'master' into 7329-empty-block-issue

7329: Fix infinite loop in Compare when reading an empty file.

refs #7329

7162: Update code to address the bug "current code forgets to reset Using_proxy to false if the API server stops giving out proxies between one call and the next"

Merge branch 'master' into 7162-support-service-types