11097: Merge branch 'master' into 11097-reuse-impure

Merge branch '11127-delete-trash-with-links'

refs #11127

Merge branch '11121-crunch-output-collection-owner'
Closes #11121

11121: Merge branch 'master' into 11121-crunch-output-collection-owner

11127: Delete dependent links too when emptying trash.

11127: Do not crash server if SweepTrashedCollections thread has an exception.

Merge branch '6520-nodemanager-crunchv2' refs #6520

6520: Crunch v1 recognizes 'mix' and 'drng' as busy states for
consistency (won't affect node manager behavior going forward, however.)

Merge branch '6520-skip-compute0' refs #6520

6520: Expand recognized 'busy' states.

11121: Added test.

Merge branch '9277-trash-container-outputs' closes #9277

6520: Explicitly mark node as 'down' before shutting down.

closes #11104
Merge branch '11104-work-unit-expand-on-caret'

11104: add fa-caret-down class to hyperlink rather than adding a span with icon.

9277: Include trashed collections when creating copy collection for container
request.

closes #11103
Merge branch '11103-fts-crs'

11103: ensure the index exists before attempting to drop it.

9277: crunch-run Log and output collections set is_trashed to true instead of
setting trash_at.

11103: Omit mounts from container_requests and definition from workflows for full text search index.

11121: Add owner_uuid to output collection on crunch-job

Merge branch '11017-docker-migration'

closes #11017

Merge branch '10797-ruby-2.3'

closes #10797

10797: Merge branch 'master' into 10797-ruby-2.3

10797: Ruby 2.3.3

Update golang version to 1.7.5. Also make the equivalent changes to the
(new) ubuntu1604 build scripts.

refs #10797

Merge branch 'master' into 10797-ruby-2.3

refs #10797

6520: Don't ever assign compute0, start at slot 1 when assigning hostname.

6520: Check that hostname is set before setting weight.

6520: Apply node size fixup in CloudNodeListMonitorActor

11097: Drop check for conflicting outputs when reusing completed containers.

6520: Update cloud_node.size to match server calculator configuration.

11017: Add arv-migrate-docker19 to package.

6520: Assign weight to node based on price to preferentially schedule on
cheaper nodes.

6520: Add testcase using sinfo to set crunch_worker_state

6520: Add testcase getting wishlist from squeue.

6520: Call squeue to include slurm jobs in wishlist.  Call sinfo to update
crunch_worker_state in arvados node records.

11017: When compute nodes use image format v2, prefer migrated docker images.

Merge branch 'arvbox-docker-imgfmt' no issue #

Update test_with_arvbox script.

Set docker_image_formats to v1.

Merge branch 'fix-arvbox' no issue #

Fix arvbox build.

* Set up fuse groups separately.
* Separate generating superuser token from writing file so as not to write file on failure.

Merge branch '10701-refactor-dispatch'

closes #10701

10701: Update error text in test.

10701: Improve comments and identifiers.

11017: Add arv-migrate-docker19

Merge branch '9397-cwl-initialworkdir-crunchv2' closes #9397

9397: Improve container InitialWorkDir test.

9397: Fix keep URI splitting.  Fix error when container has error log
collection with single file.

9397: arvados-cwl-runner implementation of InitialWorkDir on container API.

Update schema-salad pin. refs #10993

Update cwltool pin. closes #10993

Merge branch '9397-prepopulate-output-directory' refs #9397

Merge branch '10846-nodemanager-errors' closes #10846

Merge branch '11088-keep-cache-units'

closes #11088

Merge branch '11070-ws-listener-problem'

closes #11070

closes #10903
Merge branch '10903-wb-cancel-cascade'

11088: Fix keep_cache_ram units.

Merge branch '10956-arvput-pdh-fix'
Closes #10956

Merge branch '3900-trash-collections-delete-api'
Closes #3900

closes #10945
Merge branch '10945-used-in-section-for-cwl-jobs'

10903: support need_transaction for job and pipeline_instance cancel methods.

9397: Fix bind behavior to include Path.  Update tests to check container binds
as well as output manifest.

9397: Adjust stream normalization to use just digest (no hints) to de-duplicate
block locators.

10701: Get multiple pages of queue if necessary.

10701: Fix chan type.

10701: Add back MinRetryPeriod throttle. Update comments/identifiers.

3900: Merge branch 'master' into 3900-trash-collections-delete-api

3900: Flipped item.destroy call for semantics reasons

10945: "Used in jobs" panel placement

Merge branch 'master' into origin-9397-prepopulate-output-directory

Merge branch '9397-go-manifest' refs #9397

9397: Update comment & tests for CollectionFileReader to reflect it is more
lenient in the paths it accepts as a result of updates to implementation of
manifest.FileSegmentIterByName.

10701: cleanup

10701: Refactor dispatch library.

10945: show jobs in which this job is used in job#show page.

9397: Tweak method documentation for Extract()

9397: Update method documentation for Extract()

10956: Fixed cwl test mocks to match behaviour change on collection class.

9397: Fix major bug in firstBlock().  Refactor ManifestTextForPath() to
Extract().  Test returning errors from Extract().

9397: Fix collection.go to use blockdigest.LocatorPattern

9397: Fix collection.go to use blockdigest.LocatorPattern

9397: Use ManifestTextForPath

Merge branch '9397-go-manifest' into origin-9397-prepopulate-output-directory

9397: Remove conflicting code for easier merge

10846: Specify whether to try to resume the node when cancelling shutdown

9397: Use idomatic loop form.

9397: Move most functions into private API.

* Document ManifestTextForPath().
* Check for invalid file segments, and fix tests that were using invalid file segments(!)

10701: Tidy up error handling.

10701: Fix edge case: scheduling_parameters.partitions=[]

11070: Fix startup race: clients can safely connect before/during pq setup phase.

11070: Add some logs, ensure shutdown after a pq connection problem.

Merge branch '10700-dispatch'

refs #10700

10700: Fix error message.

10903: use cancel with cascade to cancel jobs and pause pipelines.

10956: When asked for the recently uploaded collection's pdh, arv-put will compute a pdh from the local collection's manifest and compare it with the API server provided version. If they differ, it will log a warning, always returning the API server's version.

10956: Get PDH from API server's response when saving a collection so that it doesn't have to be calculated when being asked for later on.
Updated tests to reflect this change.

3900: Reverted changes so that only Collection deletion from a project get deleted via an delete API call.

3900: When deleting items inside a project, use the delete API. In the special case of trashing collections, first remove them from its parent project.