8567: Docker image migration WIP.

Bugfix: python Collection class sets _portable_data_hash in _populate_from_api_server
refs #10956

Merge branch '5036-arv-mount-type'

refs #5036

5036: Add "--subtype foo" flag to set mounted filesystem type to "fuse.foo".

Merge branch '11226-discovery-doc-cache' closes #11226

11226: Disable google api client discovery doc caching, use only httplib2 caching.

Google API client has its own caching mechanism.  The problem is, by default
this goes to /tmp/google-api-python-client-discovery-doc.cache This is a
problem on a multi-user system.  Arvados already provides for discovery doc
caching via httplib2.

Add ability to use "arvbox start test" to re-run tests without tearing down &
restarting whole container.  no issue #

Arvbox now uses Go websockets server instead of Puma. no issue #

Merge branch '3115-keep-disk-create-surprise'

closes #3115

3115: Create keep_disks implicitly only in #ping action, not #show.

Merge branch '11139-nodemanager-mem-scale-factor'
Closes #11139

11139: Merge branch 'master' into 11139-nodemanager-mem-scale-factor

11139: Added new test to check for non-default values. Updated example config files.

Merge branch '11166-log-name-collision'

closes #11166

11139: Added default config parameter 'node_mem_scaling' to be applied to node's ram sticker values. Its default is 95%.
Added test checking the default config and that the value is actually applied to the server calculations.

11166: Use ensure_unique_name to avoid collisions when saving logs and output.

Merge branch '11138-docker-load-fail'

closes #11138

Add missing install step: add keep-balance token to keepstore configs.

No issue #

Remove obsolete GOMAXPROCS advice.

No issue #

Merge branch '11168-serialize-json'

closes #11168

11138: Show actual image ID when checking whether docker image is loaded.

11168: Double-decode serialized fields if database was mangled by downgraded API server.

11138: Test for docker image after loading, in case docker-load erroneously proclaimed success.

11168: Always deep-sort before comparing in where_serialized.

11168: Remove unused import.

11168: Revert serialization change in order to avoid breaking job reuse.

11168: Add missing require.

11168: Prohibit down-migration to YAML-only codebase.

11168: Change db serialize from YAML to JSON.

Merge branch '10764-ws-tests'

closes #10764

10764: De-duplicate real/test server startup. Add test for broken config.

10764: Simplify test server shutdown.

10764: Test v0 session.

Merge branch '10777-die-if-arv-mount-dies'

closes #10777

closes #11015
Merge branch '11015-crunch-run-output-upload'

Merge branch 'master' into 11015-crunch-run-output-upload

10764: Permission tests. Support PDH permission check.

10764: Add unit tests

11015: use multiple writers to increate throughput of goUpload.

10979: Add missing SqueueChecker initialization.

refs #10979

Merge branch '11002-arvput-crash-fix'
Closes #11002

11002: Merge branch 'master' into 11002-arvput-crash-fix

11002: Added note explaining why we're expecting a SystemExit to catch a SIGINT (KeyboardInterrupt)

10777: Close and flush logs right away instead of waiting for next tick.

10777: Stop container if arv-mount dies before container exits.

run-tests.sh exit non-zero if gofmt fails

No issue #

10979: Check for orphans only once at startup. Add missing Lock() in
squeue checker. Avoid holding mtx while waiting for API response.
Ensure RunContainer actually gets called in test case.

refs #10979

build improvement: really include apps/workbench_functionals when
apps/workbench is specified.

No issue #

Merge branch '6347-log-timestamps'

closes #6347

Merge branch '10629-fuse-listing-perf' closes #10629

Merge branch '9277-container-output' closes #9277

9277: Add test that setting trashed, unreable collection is disallowed.

6347: Use RFC3339Nano to render timestamps loaded from serialized fields.

Psych (YAML) serializes timestamps as ISO8601-with-space-separators,
and safe_load deserializes them to Time even with
whitelist_classes=[].

Psych.dump(Time.now.utc)
=> "--- 2017-02-22 21:33:22.845133778 Z\n...\n"

Psych.safe_load('2017-02-22 21:33:22.845133778 Z').class
=> Time

Psych.safe_load('2017-02-31 21:33:22.845133778 Z').class
=> String

Before:

Psych.safe_load('2017-02-22 21:33:22.845133778 Z').as_json
=> "2017-02-22T21:33:22Z"

After:

Psych.safe_load('2017-02-22 21:33:22.845133778 Z').as_json
=> "2017-02-22T21:33:22.845133778Z"

refs #10979
Merge branch '10979-cancelled-job-nodes'

10979: fix failing test

9277: arvados-cwl-runner sets "is_trashed" when directly setting output of container.

9277: Container output check must be unscoped to include trashed collections.

closes #10979
Merge branch '10979-cancelled-job-nodes'

Merge branch 'master' into 10979-cancelled-job-nodes

10979: ruby way of doing it

11002: Don't save the state and log the stack trace before quitting upon catching an exception. Also, when receiving SIGINT (KeyboardInterrupt), just quit without any logging.
Updated tests to reflect this new behaviour.

11156: Fix infinite loop condition.

closes #11156

Merge branch '7995-keep-balance-docs'

closes #7995

Remove pidfiles after shutting down test servers.

No issue #

10629: Don't flush dirhandles.

10629: Make tracking and dirtying of _committed flag efficient.

10629: improve debug logging

--debug includes Keep logging.
--logfile includes timestamps.

Merge branch 'master' into 10979-cancelled-job-nodes

10979: refactor squeue invocations

11002: Track this specific error with its own exception class, for future-proofing.

Merge branch '11097-reuse-impure'

closes #11097

7995: Add note about one keep-balance process at a time.

7995: Fix up dry-run instructions.

7995: Fix up inconsistent "e.g." vs. "e.g.,".

7995: Copy edits.

Fix dispatch panic when processing an update after tracker has been closed/deleted.

refs #11151

A few copy edits

Document epydoc dependency

11097: Clarify reuse query.

11097: Update docs to reflect new container reuse behavior.

10979: scancel orphaned job nodes in crunch1.

11002: Do not try to save internal state when receiving a KeyboardInterrupt exception.
Updated test accordingly.

11002: Merge branch 'master' into 11002-arvput-crash-fix

11002: When trying to save the cache's state before quitting, if an exception
is caught because of a BlockManager problem induced by an interruption,
print a warning message and quit without saving the last checkpoint.

11002: Added missing assertion to test.

11002: Improved test mocking a more suitable method and catching the specific exception type.

7995: Add "dry run" note.

Merge branch '6520-pending-reason' refs #6520

6520: Add ReqNodeNotAvail to list of reasons (along with "Resources") to boot a new node.

11097: Update test to match new behavior.

11097: Merge branch 'master' into 11097-reuse-impure

11002: Added test to make the bug happen.

7995: Add keep-balance to install guide.

Merge branch '11127-delete-trash-with-links'

refs #11127

Merge branch '11121-crunch-output-collection-owner'
Closes #11121

11121: Merge branch 'master' into 11121-crunch-output-collection-owner

11127: Delete dependent links too when emptying trash.

10979: TrackContainer implementation and test

11127: Do not crash server if SweepTrashedCollections thread has an exception.

Merge branch 'master' into 10979-cancelled-job-nodes