Merge branch '6520-nodemanager-crunchv2' refs #6520

6520: Crunch v1 recognizes 'mix' and 'drng' as busy states for
consistency (won't affect node manager behavior going forward, however.)

Merge branch '6520-skip-compute0' refs #6520

6520: Expand recognized 'busy' states.

11121: Added test.

Merge branch 'master' into 10979-cancelled-job-nodes

Merge branch '9277-trash-container-outputs' closes #9277

6520: Explicitly mark node as 'down' before shutting down.

closes #11104
Merge branch '11104-work-unit-expand-on-caret'

11104: add fa-caret-down class to hyperlink rather than adding a span with icon.

9277: Include trashed collections when creating copy collection for container
request.

closes #11103
Merge branch '11103-fts-crs'

11103: ensure the index exists before attempting to drop it.

9277: crunch-run Log and output collections set is_trashed to true instead of
setting trash_at.

11103: Omit mounts from container_requests and definition from workflows for full text search index.

11121: Add owner_uuid to output collection on crunch-job

Merge branch '11017-docker-migration'

closes #11017

Merge branch '10797-ruby-2.3'

closes #10797

10797: Merge branch 'master' into 10797-ruby-2.3

10797: Ruby 2.3.3

Update golang version to 1.7.5. Also make the equivalent changes to the
(new) ubuntu1604 build scripts.

refs #10797

Merge branch 'master' into 10797-ruby-2.3

refs #10797

6520: Don't ever assign compute0, start at slot 1 when assigning hostname.

6520: Check that hostname is set before setting weight.

6520: Apply node size fixup in CloudNodeListMonitorActor

11097: Drop check for conflicting outputs when reusing completed containers.

6520: Update cloud_node.size to match server calculator configuration.

11017: Add arv-migrate-docker19 to package.

6520: Assign weight to node based on price to preferentially schedule on
cheaper nodes.

10979: trackContainers func in crunch-dispatch-slurm.go

6520: Add testcase using sinfo to set crunch_worker_state

6520: Add testcase getting wishlist from squeue.

6520: Call squeue to include slurm jobs in wishlist.  Call sinfo to update
crunch_worker_state in arvados node records.

11017: When compute nodes use image format v2, prefer migrated docker images.

Merge branch 'arvbox-docker-imgfmt' no issue #

Update test_with_arvbox script.

Set docker_image_formats to v1.

Merge branch 'fix-arvbox' no issue #

Fix arvbox build.

* Set up fuse groups separately.
* Separate generating superuser token from writing file so as not to write file on failure.

Merge branch '10701-refactor-dispatch'

closes #10701

10701: Update error text in test.

10701: Improve comments and identifiers.

11017: Add arv-migrate-docker19

Merge branch '9397-cwl-initialworkdir-crunchv2' closes #9397

9397: Improve container InitialWorkDir test.

9397: Fix keep URI splitting.  Fix error when container has error log
collection with single file.

9397: arvados-cwl-runner implementation of InitialWorkDir on container API.

Update schema-salad pin. refs #10993

Update cwltool pin. closes #10993

Merge branch '9397-prepopulate-output-directory' refs #9397

Merge branch '10846-nodemanager-errors' closes #10846

Merge branch '11088-keep-cache-units'

closes #11088

Merge branch '11070-ws-listener-problem'

closes #11070

closes #10903
Merge branch '10903-wb-cancel-cascade'

11088: Fix keep_cache_ram units.

Merge branch '10956-arvput-pdh-fix'
Closes #10956

Merge branch '3900-trash-collections-delete-api'
Closes #3900

closes #10945
Merge branch '10945-used-in-section-for-cwl-jobs'

10903: support need_transaction for job and pipeline_instance cancel methods.

9397: Fix bind behavior to include Path.  Update tests to check container binds
as well as output manifest.

9397: Adjust stream normalization to use just digest (no hints) to de-duplicate
block locators.

10701: Get multiple pages of queue if necessary.

10701: Fix chan type.

10701: Add back MinRetryPeriod throttle. Update comments/identifiers.

3900: Merge branch 'master' into 3900-trash-collections-delete-api

3900: Flipped item.destroy call for semantics reasons

10945: "Used in jobs" panel placement

Merge branch 'master' into origin-9397-prepopulate-output-directory

Merge branch '9397-go-manifest' refs #9397

9397: Update comment & tests for CollectionFileReader to reflect it is more
lenient in the paths it accepts as a result of updates to implementation of
manifest.FileSegmentIterByName.

10701: cleanup

10701: Refactor dispatch library.

10945: show jobs in which this job is used in job#show page.

9397: Tweak method documentation for Extract()

9397: Update method documentation for Extract()

10956: Fixed cwl test mocks to match behaviour change on collection class.

9397: Fix major bug in firstBlock().  Refactor ManifestTextForPath() to
Extract().  Test returning errors from Extract().

9397: Fix collection.go to use blockdigest.LocatorPattern

9397: Fix collection.go to use blockdigest.LocatorPattern

9397: Use ManifestTextForPath

Merge branch '9397-go-manifest' into origin-9397-prepopulate-output-directory

9397: Remove conflicting code for easier merge

10846: Specify whether to try to resume the node when cancelling shutdown

9397: Use idomatic loop form.

9397: Move most functions into private API.

* Document ManifestTextForPath().
* Check for invalid file segments, and fix tests that were using invalid file segments(!)

10701: Tidy up error handling.

10701: Fix edge case: scheduling_parameters.partitions=[]

11070: Fix startup race: clients can safely connect before/during pq setup phase.

11070: Add some logs, ensure shutdown after a pq connection problem.

Merge branch '10700-dispatch'

refs #10700

10700: Fix error message.

10903: use cancel with cascade to cancel jobs and pause pipelines.

10956: When asked for the recently uploaded collection's pdh, arv-put will compute a pdh from the local collection's manifest and compare it with the API server provided version. If they differ, it will log a warning, always returning the API server's version.

10956: Get PDH from API server's response when saving a collection so that it doesn't have to be calculated when being asked for later on.
Updated tests to reflect this change.

3900: Reverted changes so that only Collection deletion from a project get deleted via an delete API call.

3900: When deleting items inside a project, use the delete API. In the special case of trashing collections, first remove them from its parent project.

9397: Add manifest normalization and sub-manifest extraction by path.

Introduces "SegmentedManifest" which stores streams -> files -> file segments.
Enables reexport of manifest in normalized form, as well as extraction of
individual files, streams or sets of streams.  Also adds binary search for
efficiently determining first block to access for some stream offset.

10903: Add cancel method with cascade to pipeline_instance and update a job's cancel method to accept a cascade parameter.

9397: add pre-population of output directory documentation

Merge branch 'master' into 9397-prepopulate-output-directory