4027: arvados/jobs includes virtualenv.

This lets you use the arvados/jobs image with the arvados_sdk_version
feature of Crunch.

4027: Fixup Crunch yet more.

4027: crunch-job logs its own version information.

By request in code review, to help detect situations where
crunch-dispatch and crunch-job are out of sync.

4027: Fixup "no virtualenv" log message.

4027: Fixup crunch-job install log open mode.

4027: Fixup doubled shellescape in crunch-dispatch.

4027: Fixup Crunch logging based on review.

4027: Fixup Crunch to provide a PySDK build tag.

4027: Crunch fixups suggested by code review.

4027: Fixup documentation from last commit.

4027: Crunch installs jobs' requested arvados_sdk_version.

* crunch-dispatch fetches the requested SDK version into its internal
  git repository, just like it does for the Crunch script.  Refactored
  crunch-dispatch to make that code reusable.

* crunch-job's main script archives the sdk subdirectory as of that
  commit, sending it along to compute nodes in the same .tar as the
  Crunch script, under .arvados.sdk.

* crunch-job's __DATA__ dispatch section looks for the SDK under
  .arvados.sdk, and installs it as much as possible.

Since I was messing with it so much already, I changed the semantics
of crunch-job's __DATA__ section: it is now either in installation
mode or run mode, based on whether there's anything in @ARGV.  I
confirmed that this is consistent with current calls to the section.

4027: Bugfix update-gitolite.rb in Docker.

* Load a YAML library.

* Support ARVADOS_API_HOST_INSECURE, and set it in normal Docker use.

4027: Revamp SSH use in our Docker images.

* Don't install or run SSH in most of our Docker images.  `docker
  exec` is now preferred to inspect running images.

* Do run SSH on the API server, always, for Gitolite.

There is a feature regression here: the user's SSH key is not
automatically installed on the shell account.  This needs to be fixed
another way.  In the meantime, it's not difficult to run
`docker exec -ti --user=self shell /bin/bash`, and you can clone the
repository from the host system.

Merge branch '4186-install-doc-improvements'

refs #4186

Improve the installation instructions for keepproxy and keepstore - take sudo into account.

refs #4186

Merge branch '4336-improve-upload-data-to-keep-doc'

refs #4336

Refactor the 'Uploading data' page.

refs #4336

Add basic documentation for arv keep put and arv keep get.

refs #4336

Link directly to the CLI SDK install instructions.

refs #4336

Make the 'check-environment' blurb stand out more from the regular text.

refs #4336

Wording improvements on the sdk cli installation page.

refs #4336

Fix typo.

refs #4336

Add third installation option for the python SDK: our debian/ubuntu packages.

refs #4336

closes #4339
Merge branch '4339-test-error-while-loading-tab'

4339: config will be reset after each test, so no need to reset it explicitly. also, use assert_selector instead of assert has_link?

4339: add test for "error while loading tab"

refs #4156
Merge branch '4156-cli-tests'

Merge branch 'master' into 4156-cli-tests

4156: uncomment one of the asserts

closes #4641
Merge branch '4641-make-jenkins-tests-pass'

4641: click on confirm dialog OK button in sharing test on Revoke action.

4641: use selenium driver and bigger page width.

Merge branch 'master' into 4156-cli-tests

4156: 3 more tests needed to be skipped.

Merge branch '4400-python-install-herring' refs #4400

Merge branch '4595-document-arv-filters'

Refs #4595.

Reorganize the arv documentation a bit more, putting it all in one place.

refs #4595

4400: Fix whitespace. Fix tagging in nodemanager, too.

Remove spurious empty line

refs #4595

4595: add documentation for list --filters

Merge branch 'master' into 4156-cli-tests

closes #4592
Merge branch '4592-input-selection'

4592: update fixture checksum

4156: skip all the tests that require api server until #4534 is completed.

Merge branch 'master' into 4156-cli-tests

4592: add fixture to be used by the api server test "search collections with 'any' operator".

Fix wrong variable assigned. refs #3824

Fix syntax error in whitespace. refs #3824

Merge branch 'master' into 4592-input-selection

Merge branch 'master' into 4592-input-selection

Merge branch '4027-api-sdk-requires-docker-wip'

Refs #4027.  Closes #4626, #4629.

4027: API Jobs that specify SDK version must also use Docker.

Because compute nodes will be upgraded regularly, we don't want to
guarantee that we'll have the necessary tools to run older SDK
versions.  The primary motivation for this feature is to install SDKs
into Docker images, so we require that to be specified.

This commit removes a few `job.valid?` assertions from the job unit
tests.  These are redundant when they come after `Job.create!` because
that will raise an exception if the job isn't valid.

Merge branch 'master' into 4592-input-selection

Merge branch 'master' into 4156-cli-tests

4400: Do not add ".commitdate.hash" tag if a build tag is already set.

Merge branch '3824-docker-fixes' refs #3824 refs #4186

3824: Merge branch 'master' into 3824-docker-fixes

A few wording tweaks.

refs #3824

4592: add test where a collection with no name is selected as input to a pipeline instance.

4592: Fix the nil error when a collection without a name is selected as input.
Also refactor the pipeline instances integration test to break re-run instance test into its own test.

Merge branch 'master' into 4156-cli-tests

4156: skip arv-tag tests while arv-tag is being worked on.

Merge branch '3382-always-show-inputs' (closes #3382)

Merge branch 'master' into 3382-always-show-inputs

Merge branch 'master' into 4156-cli-tests

closes #4250
Merge branch '4250-doc-updates'

4250: keep doc update

3382: test that after editing that an input is editable a second time
  - reverted from commit 7bd04ed26901e34e3e5788093bee12be4406dd7b and then adjusted according to latest code review

4156: little cleanup

Merge branch 'master' into 4250-doc-updates

Merge branch 'master' into 4156-cli-tests

4156: update tests to match current impl

4156: minor updates

Merge branch '4380-node-manager-slurm-drain-wip'

Closes #4380, #4519.

4380: Add SLURM dispatcher to Node Manager.

4380: Fix retry scheduling for Node Manager change methods.

4380: Node Manager shutdown actor is more robust.

ComputeNodeShutdownActor now checks that destroying the cloud node
succeeds.  Before retrying, it will check if the node is still
eligible for shutdown, and abort if not.

4380: Node Manager monitors respond to shutdown_eligible message.

4156: update test to expect uuid instead of pdh

4250: update pdh to uuid in keep tutorial

Merge branch 'master' into 4250-doc-updates

Merge branch 'master' into 4156-cli-tests

refs #4194
Merge branch '4194-keep-logging'

Merge branch '4552-collection-unique-name' closes #4552

Conflicts:
services/api/app/models/collection.rb

Merge branch 'master' into 4194-keep-logging

4156: update failing tests in test_arv-put that were expecting pdh instead of uuid.

Merge branch 'master' into 4194-keep-logging

4194: use same log statement for successes as well as errors.

4552: Set permit_unsigned_manifests=false needed for test.

Merge branch '4363-less-filename-munging' closes #4363

4363: Fix flaky test case (race with filterable.js debounce timer).

4194: use go fmt to replace spaces with tabs.

4194: just print data size and never the data

4363: Fix size hints for multi-byte manifests (backported from f78caf9).

4363: Accept manifest_text in a non-UTF-8 encoding that is equal to its UTF-8 encoding.

4363: Specify ASCII encoding in test case.

closes #4194
Merge branch '4194-keep-logging'

Merge branch 'master' into 4194-keep-logging

Merge branch '4027-sdk-constraint-reuse-wip'

Refs #4027.  Closes #4532.

4027: Test updating job's SDK version after it's already set.