10846: Revise shutdown behavior.

* Remove node blacklisting.  Because of arvados node record reuse and assigning
  compute node ids based on record uuid, it was possible to boot a new node
  with the same id as a previously blacklisted node.  Previously blacklisted
  'broken' nodes are now considered 'down' when determining if it is necessary
  to bring up new nodes.

* Failure to destroy a node is no longer retried by the shutdown actor.  A
  failure cancels the shutdown.  The daemon is expected to schedule a new
  shutdown attempt.

* Restored the concept of "cancellable" shutdown, which checks if the node is
  still shutdown eligible before actually making the call to shut it down.

* Adjusted mocking behavior to fix tests which were producing suppressed
  errors (visible in debug logging but not failing the test) when node sizes
  were inconsistent between the wishlist, cloud_node objects, and
  ServerCalculator.

10846: Remove duplicate log message suppression by ComputeNodeMonitorActor

Merge branch '10705-dedup-log-message'

refs #10705

10705: Fix double-logged error.

Merge branch '10700-dispatch'

closes #10700
  refs #10701
closes #10702
closes #10703
closes #10704

Conflicts:
services/crunch-dispatch-slurm/crunch-dispatch-slurm.go

Merge branch '10694-provenance-graph-consistency'
Closes #10694

Merge branch '10868-ip-addr-conflict'

refs #10868

Merge branch '10813-arv-put-six-threads'
Closes #10813

10700: Rename squeue identifiers (sqCheck = SqueueChecker{})

10700: Simplify squeue checker.

10813: Merge branch 'master' into 10813-arv-put-six-threads

10813: Added only_committed argument to ArvFile.manifest_text() method to maintain consistency with its counterpart from Collection class.

10813: Removed unnecessary argument

10868: Remove old DNS entry immediately when a new node re-uses an old node's IP address.

10694: Flipped graph orientations so they are all (collections, jobs, pipelines) redered top-down.

10694: Changed Pipeline Instance's Graph orientation to match Collections and Jobs.

10694: Changed the Provenance Graph orientation of Jobs to be the same way as it is rendered on Collections.

10700: Rephrase "should cancel" condition to be less unclear.

Merge branch '10690-config-dump'

closes #10690

10690: Fix conflicting uses of "config" name.

10690: Fix missing return after exit().

10690: De-duplicate dumpConfig.

10690: Add -dump-config to arv-git-httpd, crunch-dispatch-slurm, keep-balance, keep-web, keepproxy.

Doc update: add trademark symbol next to the word 'Arvados' in 2 places.

No issue #

Merge branch '10990-keep-web-ranges'

refs #10990

10990: Remove superfluous code for headers now handled by http.ServeContent.

10990: Adjust readahead to work better on small segments. Improve comments.

10990: Fix collectionreader tests.

10990: Support Range headers with non-zero start offset.

10990: Add tests for byte range requests that start at byte >0.

Merge branch '10980-add-ubuntu1604-support'

refs #10980

Add support for Ubuntu 1604 ("xenial") to our build scripts.

refs #10980

Remove old debian7 package testing file.

refs #10785

Remove deprecated --force-yes flag during package testing, replace with
--allow-unauthorized

refs #10980

10700: Rename PollInterval to PollPeriod in library to match commands and config files.

10704: Rate-limit startup attempts per container.

Bump schema-salad version for schema loading performance fix.  no issue #

10703: Un-pyramid run().

10701: Remove unneeded complexity in squeue invocation.

arv_docker_get_image should not modify dockerRequirement parameter.  refs #10812

Merge branch '10812-docker-upload-fix' refs #10812

10812: Fix bug and add test that docker dependencies are found and uploaded.

10703: Do not catch signals in crunch-dispatch-slurm. Simplify "stop dispatcher loop" API.

Merge branch '10895-run-in-single-container-reuse' refs #10895

10895: Don't report "reused" for Failed/Cancelled containers.  Tweak log
message.  Tweak behavior of --debug to also enable arvados SDK debugging.

Merge branch '9998-no-count-items-available'

closes #9998

9998: Update CLI usage.

9998: Remove superfluous word.

Merge branch '10868-job-log-node-info'

refs #10868

9998: Use links instead of specimens to test count param.

9998: Update API docs.

10868: Include node UUIDs and properties in job logs.

10895: Don't add uploaded files to pathmap if they are not referenced.

10895: Improve reuse for RunInSingleContainer jobs

* Consolodate and de-duplicate requirements and hints
* Use json.dumps() with sorted_keys=True to avoid issues with round trip YAML
  formatting and comments that are irrelevant to reuse semantics.
* Remember subworkflow packing for more efficient scattering.
* Logging distinguishes when jobs and containers are reused.

9998: Handle timestamp collisions in collection index.

Merge branch 'master' into 9998-no-count-items-available

Merge branch '10812-cwl-separate-dependencies' refs #10812

10812: Handle expected NotFoundError error when checking if file exists in keep.

10812: Add num_retries to CollectionFetcher and collectionResolver.

10812: Fix indentation typo.

10812: Update cwltool and schema-salad dependencies.

10812: Handle $schema references.

10812: Don't use cStringIO which doesn't like unicode strings.

10812: Check for dockerOutputDirectory and raise UnsupportedRequirement up front.

10812: Fix imports, reference #main in cwl:tool

10812: Improve check that already packed workflow collection exists with same
PDH and similar name.  Don't crash when registering pipeline template that has
array inputs.

10812: Don't try to upload embedded tools separately unless they have an
identifier.

10812: Handle workflow keep references.

10812: Use packed workflows for all run modes.

Conflicts:
sdk/cwl/arvados_cwl/__init__.py
sdk/cwl/arvados_cwl/runner.py

Merge branch '10812-log-merge' refs #10812

Merge branch '10812-submit-runner-image' refs #10812

Merge branch '10935-noop-munge' closes #10935

10812: Add tests

10812: Perform merge of logs based on timestamp instead of sorting log lines.

10935: Add test that round tripping works after disabling deep_munge.

10812: Add --submit-runner-image to override default Docker image when submitting workflow runner.

Conflicts:
sdk/cwl/arvados_cwl/__init__.py
sdk/cwl/arvados_cwl/runner.py

Merge branch 'master' into 9998-no-count-items-available

9998: Change count=true/false to exact/none. Add tests.

10935: Make Rails method deep_munge a noop, so that empty arrays can round trip
through json instead of being turned into 'nil'.

10813: Merge branch 'master' into 10813-arv-put-six-threads

10813: Fixed typo on argument documentation.
Added only_committed parameter to Collection.manifest_text() so it passes along to _get_manifest_text().
Corrected put_queue's size back to 2 on BlockManager.

Merge branch '10292-cwl-deadlock' refs #10292

10292: Update cwltool for bugfix: intermittant workflow deadlock on subworkflow completion.

10813: Bug fixed on BlockManager's _get_manifest_text() when asked for only include committed blocks on collections with subcollections inside it.
Also, added --threads parameter to arv-put command so the default number of upload threads (2) can be overridden.
Changed the update thread to execute once every minute, because it blocks the local collection for a few seconds (depending on the manifest size)
Also, cleaned up some locking uses on the update thread to minimize the time with the locking in place.

Remove references to debian7 and centos6. Also remove some hardcoded
--iteration flags for fpm, now that #6885 is done.

refs #10785

Merge branch '10858-build-packages-improvements'

closes #10858

10858: Equivalent commit for 10881: Add python-futures as explicit
cwltest dependency and bump iteration.

refs #10858

Fix rpm architecture in the test_package_presence function. Expand on
comment.

refs #10858

Merge branch '10800-update-doc'

closes #10800

Merge branch 'master' into 10800-update-doc

refs #10800

More documentation updates to reflect the end of support for Debian
Wheezy and CentOS 6. Also remove obsolete arv-docker installation page,
which was no longer linked from anywhere.

refs #10800

Documentation updates to reflect the end of support for Debian Wheezy and CentOS 6.

refs #10800

Merge branch '10868-log-dispatch-decisions'

refs #10868

10868: Add fake uuid to test case for more realistic log messages.

10868: Log job runtime constraints and node properties when making a dispatch decision.

Bump libcloud pin to 0.20.2.dev3 for Azure China support.  refs #10833

Merge branch 'master' into 9998-no-count-items-available

Conflicts:
sdk/go/arvados/resource_list.go
services/keep-balance/collection.go

If the fpm run fails, always print out the failed command so that we
don't have to run the build scripts in debug mode all the time.

refs #10858

Fix the shortcut that tests the need of rebuilding the arvados-src
package.

refs #10858

Handle rpm-based backports correctly.

refs #10858