11002: Merge branch 'master' into 11002-arvput-crash-fix

11002: Added note explaining why we're expecting a SystemExit to catch a SIGINT (KeyboardInterrupt)

run-tests.sh exit non-zero if gofmt fails

No issue #

10979: Check for orphans only once at startup. Add missing Lock() in
squeue checker. Avoid holding mtx while waiting for API response.
Ensure RunContainer actually gets called in test case.

refs #10979

build improvement: really include apps/workbench_functionals when
apps/workbench is specified.

No issue #

Merge branch '6347-log-timestamps'

closes #6347

Merge branch '10629-fuse-listing-perf' closes #10629

Merge branch '9277-container-output' closes #9277

9277: Add test that setting trashed, unreable collection is disallowed.

6347: Use RFC3339Nano to render timestamps loaded from serialized fields.

Psych (YAML) serializes timestamps as ISO8601-with-space-separators,
and safe_load deserializes them to Time even with
whitelist_classes=[].

Psych.dump(Time.now.utc)
=> "--- 2017-02-22 21:33:22.845133778 Z\n...\n"

Psych.safe_load('2017-02-22 21:33:22.845133778 Z').class
=> Time

Psych.safe_load('2017-02-31 21:33:22.845133778 Z').class
=> String

Before:

Psych.safe_load('2017-02-22 21:33:22.845133778 Z').as_json
=> "2017-02-22T21:33:22Z"

After:

Psych.safe_load('2017-02-22 21:33:22.845133778 Z').as_json
=> "2017-02-22T21:33:22.845133778Z"

refs #10979
Merge branch '10979-cancelled-job-nodes'

10979: fix failing test

9277: arvados-cwl-runner sets "is_trashed" when directly setting output of container.

9277: Container output check must be unscoped to include trashed collections.

closes #10979
Merge branch '10979-cancelled-job-nodes'

Merge branch 'master' into 10979-cancelled-job-nodes

10979: ruby way of doing it

11002: Don't save the state and log the stack trace before quitting upon catching an exception. Also, when receiving SIGINT (KeyboardInterrupt), just quit without any logging.
Updated tests to reflect this new behaviour.

11156: Fix infinite loop condition.

closes #11156

Merge branch '7995-keep-balance-docs'

closes #7995

Remove pidfiles after shutting down test servers.

No issue #

10629: Don't flush dirhandles.

10629: Make tracking and dirtying of _committed flag efficient.

10629: improve debug logging

--debug includes Keep logging.
--logfile includes timestamps.

Merge branch 'master' into 10979-cancelled-job-nodes

10979: refactor squeue invocations

11002: Track this specific error with its own exception class, for future-proofing.

Merge branch '11097-reuse-impure'

closes #11097

7995: Add note about one keep-balance process at a time.

7995: Fix up dry-run instructions.

7995: Fix up inconsistent "e.g." vs. "e.g.,".

7995: Copy edits.

Fix dispatch panic when processing an update after tracker has been closed/deleted.

refs #11151

A few copy edits

Document epydoc dependency

11097: Clarify reuse query.

11097: Update docs to reflect new container reuse behavior.

10979: scancel orphaned job nodes in crunch1.

11002: Do not try to save internal state when receiving a KeyboardInterrupt exception.
Updated test accordingly.

11002: Merge branch 'master' into 11002-arvput-crash-fix

11002: When trying to save the cache's state before quitting, if an exception
is caught because of a BlockManager problem induced by an interruption,
print a warning message and quit without saving the last checkpoint.

11002: Added missing assertion to test.

11002: Improved test mocking a more suitable method and catching the specific exception type.

7995: Add "dry run" note.

Merge branch '6520-pending-reason' refs #6520

6520: Add ReqNodeNotAvail to list of reasons (along with "Resources") to boot a new node.

11097: Update test to match new behavior.

11097: Merge branch 'master' into 11097-reuse-impure

11002: Added test to make the bug happen.

7995: Add keep-balance to install guide.

Merge branch '11127-delete-trash-with-links'

refs #11127

Merge branch '11121-crunch-output-collection-owner'
Closes #11121

11121: Merge branch 'master' into 11121-crunch-output-collection-owner

11127: Delete dependent links too when emptying trash.

10979: TrackContainer implementation and test

11127: Do not crash server if SweepTrashedCollections thread has an exception.

Merge branch 'master' into 10979-cancelled-job-nodes

Merge branch '6520-nodemanager-crunchv2' refs #6520

6520: Crunch v1 recognizes 'mix' and 'drng' as busy states for
consistency (won't affect node manager behavior going forward, however.)

Merge branch '6520-skip-compute0' refs #6520

6520: Expand recognized 'busy' states.

11121: Added test.

Merge branch 'master' into 10979-cancelled-job-nodes

Merge branch '9277-trash-container-outputs' closes #9277

6520: Explicitly mark node as 'down' before shutting down.

closes #11104
Merge branch '11104-work-unit-expand-on-caret'

11104: add fa-caret-down class to hyperlink rather than adding a span with icon.

9277: Include trashed collections when creating copy collection for container
request.

closes #11103
Merge branch '11103-fts-crs'

11103: ensure the index exists before attempting to drop it.

9277: crunch-run Log and output collections set is_trashed to true instead of
setting trash_at.

11103: Omit mounts from container_requests and definition from workflows for full text search index.

11121: Add owner_uuid to output collection on crunch-job

Merge branch '11017-docker-migration'

closes #11017

Merge branch '10797-ruby-2.3'

closes #10797

10797: Merge branch 'master' into 10797-ruby-2.3

10797: Ruby 2.3.3

Update golang version to 1.7.5. Also make the equivalent changes to the
(new) ubuntu1604 build scripts.

refs #10797

Merge branch 'master' into 10797-ruby-2.3

refs #10797

6520: Don't ever assign compute0, start at slot 1 when assigning hostname.

6520: Check that hostname is set before setting weight.

6520: Apply node size fixup in CloudNodeListMonitorActor

11097: Drop check for conflicting outputs when reusing completed containers.

6520: Update cloud_node.size to match server calculator configuration.

11017: Add arv-migrate-docker19 to package.

6520: Assign weight to node based on price to preferentially schedule on
cheaper nodes.

10979: trackContainers func in crunch-dispatch-slurm.go

6520: Add testcase using sinfo to set crunch_worker_state

6520: Add testcase getting wishlist from squeue.

6520: Call squeue to include slurm jobs in wishlist.  Call sinfo to update
crunch_worker_state in arvados node records.

11017: When compute nodes use image format v2, prefer migrated docker images.

Merge branch 'arvbox-docker-imgfmt' no issue #

Update test_with_arvbox script.

Set docker_image_formats to v1.

Merge branch 'fix-arvbox' no issue #

Fix arvbox build.

* Set up fuse groups separately.
* Separate generating superuser token from writing file so as not to write file on failure.

Merge branch '10701-refactor-dispatch'

closes #10701

10701: Update error text in test.

10701: Improve comments and identifiers.

11017: Add arv-migrate-docker19