more vault

vault

Merge branch 'master' into deploy-agent

Conflicts:
build/run-tests.sh

multiple servers, add docker-compose test

gitignore

run-tests.sh exit non-zero if gofmt fails

No issue #

10979: Check for orphans only once at startup. Add missing Lock() in
squeue checker. Avoid holding mtx while waiting for API response.
Ensure RunContainer actually gets called in test case.

refs #10979

build improvement: really include apps/workbench_functionals when
apps/workbench is specified.

No issue #

Merge branch '6347-log-timestamps'

closes #6347

Merge branch '10629-fuse-listing-perf' closes #10629

Merge branch '9277-container-output' closes #9277

9277: Add test that setting trashed, unreable collection is disallowed.

6347: Use RFC3339Nano to render timestamps loaded from serialized fields.

Psych (YAML) serializes timestamps as ISO8601-with-space-separators,
and safe_load deserializes them to Time even with
whitelist_classes=[].

Psych.dump(Time.now.utc)
=> "--- 2017-02-22 21:33:22.845133778 Z\n...\n"

Psych.safe_load('2017-02-22 21:33:22.845133778 Z').class
=> Time

Psych.safe_load('2017-02-31 21:33:22.845133778 Z').class
=> String

Before:

Psych.safe_load('2017-02-22 21:33:22.845133778 Z').as_json
=> "2017-02-22T21:33:22Z"

After:

Psych.safe_load('2017-02-22 21:33:22.845133778 Z').as_json
=> "2017-02-22T21:33:22.845133778Z"

refs #10979
Merge branch '10979-cancelled-job-nodes'

10979: fix failing test

9277: arvados-cwl-runner sets "is_trashed" when directly setting output of container.

9277: Container output check must be unscoped to include trashed collections.

closes #10979
Merge branch '10979-cancelled-job-nodes'

Merge branch 'master' into 10979-cancelled-job-nodes

10979: ruby way of doing it

11156: Fix infinite loop condition.

closes #11156

Merge branch '7995-keep-balance-docs'

closes #7995

Remove pidfiles after shutting down test servers.

No issue #

10629: Don't flush dirhandles.

10629: Make tracking and dirtying of _committed flag efficient.

10629: improve debug logging

--debug includes Keep logging.
--logfile includes timestamps.

Merge branch 'master' into 10979-cancelled-job-nodes

10979: refactor squeue invocations

Merge branch '11097-reuse-impure'

closes #11097

7995: Add note about one keep-balance process at a time.

7995: Fix up dry-run instructions.

7995: Fix up inconsistent "e.g." vs. "e.g.,".

7995: Copy edits.

Fix dispatch panic when processing an update after tracker has been closed/deleted.

refs #11151

A few copy edits

Document epydoc dependency

11097: Clarify reuse query.

11097: Update docs to reflect new container reuse behavior.

10979: scancel orphaned job nodes in crunch1.

7995: Add "dry run" note.

Merge branch '6520-pending-reason' refs #6520

6520: Add ReqNodeNotAvail to list of reasons (along with "Resources") to boot a new node.

11097: Update test to match new behavior.

11097: Merge branch 'master' into 11097-reuse-impure

7995: Add keep-balance to install guide.

cmd, lib

Merge branch '11127-delete-trash-with-links'

refs #11127

Merge branch '11121-crunch-output-collection-owner'
Closes #11121

11121: Merge branch 'master' into 11121-crunch-output-collection-owner

11127: Delete dependent links too when emptying trash.

10979: TrackContainer implementation and test

11127: Do not crash server if SweepTrashedCollections thread has an exception.

more vault

Merge branch 'master' into 10979-cancelled-job-nodes

Merge branch '6520-nodemanager-crunchv2' refs #6520

6520: Crunch v1 recognizes 'mix' and 'drng' as busy states for
consistency (won't affect node manager behavior going forward, however.)

Merge branch '6520-skip-compute0' refs #6520

6520: Expand recognized 'busy' states.

11121: Added test.

Merge branch 'master' into 10979-cancelled-job-nodes

Merge branch '9277-trash-container-outputs' closes #9277

6520: Explicitly mark node as 'down' before shutting down.

closes #11104
Merge branch '11104-work-unit-expand-on-caret'

11104: add fa-caret-down class to hyperlink rather than adding a span with icon.

9277: Include trashed collections when creating copy collection for container
request.

closes #11103
Merge branch '11103-fts-crs'

11103: ensure the index exists before attempting to drop it.

9277: crunch-run Log and output collections set is_trashed to true instead of
setting trash_at.

11103: Omit mounts from container_requests and definition from workflows for full text search index.

Merge branch 'master' into deploy-agent

Conflicts:
build/package-build-dockerfiles/centos7/Dockerfile
build/package-build-dockerfiles/debian8/Dockerfile
build/package-build-dockerfiles/ubuntu1204/Dockerfile
build/package-build-dockerfiles/ubuntu1404/Dockerfile

11121: Add owner_uuid to output collection on crunch-job

Merge branch '11017-docker-migration'

closes #11017

Merge branch '10797-ruby-2.3'

closes #10797

10797: Merge branch 'master' into 10797-ruby-2.3

10797: Ruby 2.3.3

Update golang version to 1.7.5. Also make the equivalent changes to the
(new) ubuntu1604 build scripts.

refs #10797

Merge branch 'master' into 10797-ruby-2.3

refs #10797

6520: Don't ever assign compute0, start at slot 1 when assigning hostname.

6520: Check that hostname is set before setting weight.

6520: Apply node size fixup in CloudNodeListMonitorActor

11097: Drop check for conflicting outputs when reusing completed containers.

6520: Update cloud_node.size to match server calculator configuration.

11017: Add arv-migrate-docker19 to package.

6520: Assign weight to node based on price to preferentially schedule on
cheaper nodes.

consul acl

10979: trackContainers func in crunch-dispatch-slurm.go

6520: Add testcase using sinfo to set crunch_worker_state

6520: Add testcase getting wishlist from squeue.

6520: Call squeue to include slurm jobs in wishlist.  Call sinfo to update
crunch_worker_state in arvados node records.

11017: When compute nodes use image format v2, prefer migrated docker images.

Merge branch 'arvbox-docker-imgfmt' no issue #

Update test_with_arvbox script.

Set docker_image_formats to v1.

Merge branch 'fix-arvbox' no issue #

Fix arvbox build.

* Set up fuse groups separately.
* Separate generating superuser token from writing file so as not to write file on failure.

Merge branch '10701-refactor-dispatch'

closes #10701

10701: Update error text in test.

10701: Improve comments and identifiers.

11017: Add arv-migrate-docker19

Merge branch '9397-cwl-initialworkdir-crunchv2' closes #9397