9397: Update comment & tests for CollectionFileReader to reflect it is more
lenient in the paths it accepts as a result of updates to implementation of
manifest.FileSegmentIterByName.

10701: cleanup

10701: Refactor dispatch library.

10945: show jobs in which this job is used in job#show page.

9397: Tweak method documentation for Extract()

9397: Update method documentation for Extract()

10956: Fixed cwl test mocks to match behaviour change on collection class.

9397: Fix major bug in firstBlock().  Refactor ManifestTextForPath() to
Extract().  Test returning errors from Extract().

9397: Fix collection.go to use blockdigest.LocatorPattern

9397: Fix collection.go to use blockdigest.LocatorPattern

9397: Use ManifestTextForPath

Merge branch '9397-go-manifest' into origin-9397-prepopulate-output-directory

9397: Remove conflicting code for easier merge

10846: Specify whether to try to resume the node when cancelling shutdown

9397: Use idomatic loop form.

9397: Move most functions into private API.

* Document ManifestTextForPath().
* Check for invalid file segments, and fix tests that were using invalid file segments(!)

10701: Tidy up error handling.

10701: Fix edge case: scheduling_parameters.partitions=[]

11070: Fix startup race: clients can safely connect before/during pq setup phase.

11070: Add some logs, ensure shutdown after a pq connection problem.

Merge branch '10700-dispatch'

refs #10700

10700: Fix error message.

10903: use cancel with cascade to cancel jobs and pause pipelines.

10956: When asked for the recently uploaded collection's pdh, arv-put will compute a pdh from the local collection's manifest and compare it with the API server provided version. If they differ, it will log a warning, always returning the API server's version.

10956: Get PDH from API server's response when saving a collection so that it doesn't have to be calculated when being asked for later on.
Updated tests to reflect this change.

3900: Reverted changes so that only Collection deletion from a project get deleted via an delete API call.

3900: When deleting items inside a project, use the delete API. In the special case of trashing collections, first remove them from its parent project.

9397: Add manifest normalization and sub-manifest extraction by path.

Introduces "SegmentedManifest" which stores streams -> files -> file segments.
Enables reexport of manifest in normalized form, as well as extraction of
individual files, streams or sets of streams.  Also adds binary search for
efficiently determining first block to access for some stream offset.

10903: Add cancel method with cascade to pipeline_instance and update a job's cancel method to accept a cascade parameter.

9397: add pre-population of output directory documentation

Merge branch 'master' into 9397-prepopulate-output-directory

9397: add normalized manifest test

9397: add handling of denormalized manifest

9397: NormalizeManifest

Merge branch '10968-arvput-resume-progress'
Closes #10968

10968: Deleted space char at the end of a comment

Merge branch 'master' into 10797-ruby-2.3

Conflicts:
build/package-build-dockerfiles/Makefile

9397: get manifest segment for a subdir or file using manifest from sdk.

10968: Added a notification when uploading at least one directory, just to let know the user that the expected bytes count can take some time when trying to upload lots of files.

Merge branch '10969-check-docker-format'

closes #10969

10968: Changed the periodic update thread to run every 1 second while arv-put is checking which files to skip, only notifying the user via the progress indicator.
When starts uploading the rest of the files, the update thread returns to the previous behaviour, running once every minute and checkpointing to the cache.

Merge branch '10932-arvput-slow-resuming'
Closes #10932

10932: Changed _file_paths from being a list to a set so we're not going to copy it when checking for missing files on local collection on resume start.
Added comments on cache saving explaining why is better to use json.dumps() instead of copy.deepcopy().

9397: Use manifest.FileSegmentForPath to get manifest segment for a file path. Cache collections to avoid fetching
the same collection repeatedly. If no manifest segment found for a mounted path, log that fact.

10846: Revise shutdown behavior.

* Remove node blacklisting.  Because of arvados node record reuse and assigning
  compute node ids based on record uuid, it was possible to boot a new node
  with the same id as a previously blacklisted node.  Previously blacklisted
  'broken' nodes are now considered 'down' when determining if it is necessary
  to bring up new nodes.

* Failure to destroy a node is no longer retried by the shutdown actor.  A
  failure cancels the shutdown.  The daemon is expected to schedule a new
  shutdown attempt.

* Restored the concept of "cancellable" shutdown, which checks if the node is
  still shutdown eligible before actually making the call to shut it down.

* Adjusted mocking behavior to fix tests which were producing suppressed
  errors (visible in debug logging but not failing the test) when node sizes
  were inconsistent between the wishlist, cloud_node objects, and
  ServerCalculator.

10969: Add docker_image_formats server config, and corresponding check in `arv keep docker`.

10932: Replaced the use of a list with a set to check if files on local collection are on the local file list, so that the resume start time is greatly reduced.
Also, the save_state method was taking too much time on two operations: deepcopy() and json.dump(). Replaced both with just one call to json.dumps() that's a lot faster than json.dump().
This will improve overall performance on big file collections uploads.

Merge branch '10990-keep-web-ranges'

closes #10990

10990: Add Seek tests.

10846: Remove duplicate log message suppression by ComputeNodeMonitorActor

9397: Add ExcludeFromOutput to Mount struct.

Merge branch '10705-dedup-log-message'

refs #10705

10705: Fix double-logged error.

Merge branch '10700-dispatch'

closes #10700
  refs #10701
closes #10702
closes #10703
closes #10704

Conflicts:
services/crunch-dispatch-slurm/crunch-dispatch-slurm.go

Merge branch '10694-provenance-graph-consistency'
Closes #10694

Merge branch '10868-ip-addr-conflict'

refs #10868

Merge branch '10813-arv-put-six-threads'
Closes #10813

9397: update comments

10700: Rename squeue identifiers (sqCheck = SqueueChecker{})

10700: Simplify squeue checker.

10813: Merge branch 'master' into 10813-arv-put-six-threads

10813: Added only_committed argument to ArvFile.manifest_text() method to maintain consistency with its counterpart from Collection class.

10813: Removed unnecessary argument

9397: if mount.Path ends with "/", trim it.

Merge branch 'master' into 9397-prepopulate-output-directory

9397: more testing

10868: Remove old DNS entry immediately when a new node re-uses an old node's IP address.

10694: Flipped graph orientations so they are all (collections, jobs, pipelines) redered top-down.

9397: test with multiple mount points under subdirectories

10694: Changed Pipeline Instance's Graph orientation to match Collections and Jobs.

10694: Changed the Provenance Graph orientation of Jobs to be the same way as it is rendered on Collections.

10700: Rephrase "should cancel" condition to be less unclear.

Merge branch '10690-config-dump'

closes #10690

10690: Fix conflicting uses of "config" name.

10690: Fix missing return after exit().

10690: De-duplicate dumpConfig.

10690: Add -dump-config to arv-git-httpd, crunch-dispatch-slurm, keep-balance, keep-web, keepproxy.

Doc update: add trademark symbol next to the word 'Arvados' in 2 places.

No issue #

Merge branch '10990-keep-web-ranges'

refs #10990

10990: Remove superfluous code for headers now handled by http.ServeContent.

10990: Adjust readahead to work better on small segments. Improve comments.

10990: Fix collectionreader tests.

10990: Support Range headers with non-zero start offset.

10990: Add tests for byte range requests that start at byte >0.

Merge branch '10980-add-ubuntu1604-support'

refs #10980

Add support for Ubuntu 1604 ("xenial") to our build scripts.

refs #10980

Remove old debian7 package testing file.

refs #10785

Remove deprecated --force-yes flag during package testing, replace with
--allow-unauthorized

refs #10980

10700: Rename PollInterval to PollPeriod in library to match commands and config files.

10704: Rate-limit startup attempts per container.

Bump schema-salad version for schema loading performance fix.  no issue #

10703: Un-pyramid run().

10701: Remove unneeded complexity in squeue invocation.

arv_docker_get_image should not modify dockerRequirement parameter.  refs #10812

Merge branch '10812-docker-upload-fix' refs #10812

10812: Fix bug and add test that docker dependencies are found and uploaded.

10703: Do not catch signals in crunch-dispatch-slurm. Simplify "stop dispatcher loop" API.

Merge branch '10895-run-in-single-container-reuse' refs #10895

10895: Don't report "reused" for Failed/Cancelled containers.  Tweak log
message.  Tweak behavior of --debug to also enable arvados SDK debugging.

Merge branch '9998-no-count-items-available'

closes #9998