Merge branch 'master' into 7162-support-service-types

closes #7329
Merge branch '7329-empty-block-issue'

7321: arvados/jobs Dockerfile installs python-pip.

This is also for arvados_sdk_version support.  I thought pip was a
dependency of virtualenv, but it's not.  Refs #7321.

Merge branch 'master' into 7329-empty-block-issue

7329: improved TestableVolumeManagerFactory method signature, teardown logic, comments and test file name.

7321: arvados/jobs Dockerfile installs development headers.

These are necessary to build all of the Python SDK's dependencies when
running a job that defines arvados_sdk_version.

Closes #7321.

Merge branch 'master' into 7329-empty-block-issue

Merge branch '7225-collection-hang' closes #7225

7329: since moved functional testing into generic testing, removing now redundant empty block tests from volume_unix_test.go and keepstore_test.go.

7329: add generic volume based keepstore tests to have better functional test coverage.

7225: Better exception handling for unexpected state changes.

7225: Add test to validate fix that 2nd commit call blocks until block is committed
as intended.

7225: Fix typo in _BufferBlock.set_state() that resulted in "wait for pending
block commit" code getting skipped.  Set PUT thread to daemon thread; users
must call save() or flush() or use `with` to guarantee that blocks get written.

Merge branch 'master' into 7329-empty-block-issue

7329: Fix infinite loop in Compare when reading an empty file.

refs #7329

7162: Update code to address the bug "current code forgets to reset Using_proxy to false if the API server stops giving out proxies between one call and the next"

Merge branch 'master' into 7162-support-service-types

7162: Update datamanager code to ask for all non-proxy typed keep services and fail if any non-disk types are found in the returned list.
This needs to be enhanced when we are ready to support keep servers with other service types sub as blob storage.

Merge branch '7309-git-push-default' closes #7309

7309: Push branches explicitly in tests instead of relying on `git config push.default`

7329: Add generic tests for empty block handling.

7329: Fix infinite loop in Compare when reading an empty file (whether
or not the buf we're comparing is also empty).

Merge branch 'master' into 7162-support-service-types

7162: Use replicasPerService to avoid sending redundant replication requests.

API server limits KeepService changes to admins.

Taking the same security policy that applies to disks and applying
them to services as well.  No issue #.

7162: enhance SetServiceRoots to look for all service hints, not just K@ hints.

7329: It appears that UnixVolume -> Compare method is falling in infinite loop due to the fact that EOF is not returned when reading an empty file.
Due to this, PutBlock for an EmptyHash is resulting in infinite loop when an EmptyBlock already exists in Keep.
Added a quick fix in the Compare method for unix volume implementation. We can try to see why EOF is not returned and put in a better fix,
but for the time being this helps with unblocking tests.

Added several tests for empty block. Most importantly, added an keep integration test with UnixVolume so that we have integration tests covering some
of these code paths. More tests are definitely called for in this intergration test for better code coverage.

Also did gofmt and golint updates.

Merge branch 'pr/24'

Closes #7262.

refs #7015
Merge branch '7015-remove-pipeline-instance-from-recursive-arv-copy-doc'

7015: correct typo in copied template uuid

7015: Update arv-copy user guide to use a pipeline template instead of instance in the examples.
In addition, until 7001 is resolved, do not include pipeline instance as one of the object types that can be copied over.

closes #6260
Merge branch '6260-test-datamanager'

6260: update keepproxy test TestPostWithoutHash to match locator+size+Ahint instead of locator+size only.

Merge branch 'master' into 6260-test-datamanager

Conflicts:
services/keepstore/keepstore.go

refs #7179
Merge branch '7179-generic-volume-tests'

7179: more updates to address golint suggestions around the config parameters such as never-delete, blob-signature-ttl etc.

docker builds are failing for compute nodes.

no issue #

7262: blacklists pbr >= 1.7.0

6260: most golint suggestions are addressed.

6260: so many golint complaints!!

6260: golint suggested updates

Merge branch 'master' into 6260-test-datamanager

Conflicts:
services/keepstore/keepstore.go

closes #7179
Merge branch '7179-generic-volume-tests'

6260: golint suggestions incorporated. Also, the earlier commit log message "no longer need the keep.data-manager-token-file" is incorrect. Keepstore still needs this and this file is still generated during testing.

7179: Most of golint suggested updates are made. Some names such as "never_delete" are left alone.
Also suggestions such as "replace errors.New(fmt.Sprintf(...)) with fmt.Errorf(...)" are ignored.

7179: some more golint suggested updates

7179: several golint suggested updates such as "don't use ALL_CAPS in Go names; use CamelCase".
Now keepstore.go and handlers.go are almost lint free; a few such as blob_signature_ttl are not renamed at this time.

7179: handler_test.go is now lint free according to golint.

7179: Rather than using a DoGenericReadOnlyVolumeTests to test read-only volumes, update each test to either support
both read-only and writable modes, or skip a test if it is indended for the other mode. This helps ensure as many
tests as possible are executed in either case.

7179: A few golint suggested updates. There are still a lot of golint complaints.

7179: add TestUnixVolumeWithGenericTestsSerialized and some more updates.

Merge branch '7179-generic-volume-tests' of git.curoverse.com:arvados into 7179-generic-volume-tests

7179: Tighten Put requirements when overwriting existing data.

Merge branch 'master' into 7179-generic-volume-tests

Merge branch 'wtsi-hgi-fix/7310-git-v2-http-500-error-matches' fixes #7310

7179: add generic volume test; as part of this exercise, moved some "generic" tests from volume_unix_test.go
into volume_generic_test.go so that we do not repeat these in all storage device related testing.

7310: adds git v2 style regex to match http 500 error

6260: Reduced-replication test requires replication>=desired, not replication==len(keepServers).

7179: list out the potential tests

6260: Remove unnecessary Sleep()

Puts pbr 1.7.0 on blacklist for services/dockercleaner

Blacklists pbr version 1.7.0 as it is not working with mock 1.3.0

6260: no longer need the keep.data-manager-token-file

Merge branch '7179-test-mocks' refs #7179

Merge branch 'master' into 7179-test-mocks

Conflicts:
services/keepstore/volume.go
services/keepstore/volume_unix_test.go

7179: Improve comments.

Brown bag typo bugfix.  refs #7031

Catch errors thrown by sync_node() in Azure driver refs #7031.

6260: Fix up /status.json checks.

6260: Simplify verifyBlocks logic.

6260: Remove test for impossible condition.

6260: Fix up error messages.

6260: Remove extra hyphen from command line args.

6260: Just use the token loaded by the SDK (ARVADOS_API_TOKEN),
instead of requiring a token separately on the command line.

7179: Improve description of how races must be handled.

Bump node manager libcloud pin to dev3 refs #7031

Merge branch '7121-fix-deadlock' closes #7121

6260: update datamanager.go to return error than Fatalf in some cases; add additional tests to test those errors raised.

6260: Continue to force never_delete to be true until #6221 is resolved; in the meantime, let it be false during testing.

Merge branch 'master' into 6260-test-datamanager

6260: look for two replicas

7179: Add Volume interface specs.

Merge branch '7193-provision-azure-compute' closes #7193

7193: Tweak example config.

7225: ArvadosFile.flush() commits all underlying blocks.

Fix a typo that caused only the last block to be flushed.
Refs #7225.

7121: Add collisionOrCorrupt->DiskHashError test cases where the mismatched data is in buf1.

7170: Fix Ruby configure switch typo.

--no-install-rdoc should be spelled --disable-install-rdoc.
Refs #7170.

Move arvados-api-server-upgrade.sh down in install guide.

Same rationale as 2a6a3720271a12bc8a47928ade5b2c641514ca44.
No issue #.

7121: Add comment about why buffers must be returned.

6260: break old blocks into used and unused sets to make it easy to understand code and some more updates.

Merge branch 'master' into 6260-test-datamanager

7121: Fixup log messages (remove excess \n, show which volume had a Get() error).

7121: Log all errors (except the everyday "not found") encountered during CompareAndTouch().

7121: Clarify expected behavior of Compare() in Volume interface.

7121: Rename mutex_test.go -> mock_mutex_for_test.go

7121: Update comment to match new argument name.

7121: 7218: Get the serialize lock before opening a file.

In certain error cases (Stat() succeeds but Open() fails) this can
cause a failure to wait behind the serialize lock, but in normal
operation ("success" and "not found") it conserves open file handles
when there's a lot of contention for the serialize lock.

7121: Test mutex usage with a mock instead of time.Sleep.

7179: Start a set of generic volume tests.

7179: Add TestableVolume interface, make UnixVolume tests a bit more reusable.