closes #11071
Merge branch '11071-fts-perf-test'

11071: formatting on the long if statement

Add missing documentation file.  refs #6520

Merge branch '8567-api-select-docker-fmt' refs #8567

Merge branch '8567-cwl-docker-img' refs #8567

Merge branch '6520-nodemanager-docs' closes #11123

8567: Fix tests now that container_image provides docker repo+tag and not PDH.

8567: If a search_term looks like a PDH, always treat it as one.  Also use
correct optional parameter syntax.

6520: Add page with sample ping script.  Improve instructions on creating
compute node a little bit.

6520: Add node_mem_scaling to documentation.

6520: Add information about setting up SLURM to crunchv2 documentation.

6520: Node manager docs WIP

8567: Use Docker image repo+tag name instead of PDH so that API server can select correct image format.

11071: test count=none in groups#contents method.

8567: Tests default to image format v1 to avoid breaking all the tests that
uses the :docker_image collection.

8567: Adjust job container resolve test now that images are filtered based on
support version.

8567: Refactor code that queries migration links into get_compatible_images.

8567: Add & tweak tests for selecting compatible Docker image format.

8567: find_all_for_docker_image() returns only Docker images compatible with Rails.configuration.docker_image_formats.  Follows migration links.

Bugfix: python Collection class sets _portable_data_hash in _populate_from_api_server
refs #10956

Merge branch '5036-arv-mount-type'

refs #5036

5036: Add "--subtype foo" flag to set mounted filesystem type to "fuse.foo".

Merge branch '11226-discovery-doc-cache' closes #11226

11226: Disable google api client discovery doc caching, use only httplib2 caching.

Google API client has its own caching mechanism.  The problem is, by default
this goes to /tmp/google-api-python-client-discovery-doc.cache This is a
problem on a multi-user system.  Arvados already provides for discovery doc
caching via httplib2.

Add ability to use "arvbox start test" to re-run tests without tearing down &
restarting whole container.  no issue #

Arvbox now uses Go websockets server instead of Puma. no issue #

Merge branch '3115-keep-disk-create-surprise'

closes #3115

3115: Create keep_disks implicitly only in #ping action, not #show.

Merge branch '11139-nodemanager-mem-scale-factor'
Closes #11139

11139: Merge branch 'master' into 11139-nodemanager-mem-scale-factor

11139: Added new test to check for non-default values. Updated example config files.

Merge branch '11166-log-name-collision'

closes #11166

11139: Added default config parameter 'node_mem_scaling' to be applied to node's ram sticker values. Its default is 95%.
Added test checking the default config and that the value is actually applied to the server calculations.

11166: Use ensure_unique_name to avoid collisions when saving logs and output.

Merge branch '11138-docker-load-fail'

closes #11138

Add missing install step: add keep-balance token to keepstore configs.

No issue #

Remove obsolete GOMAXPROCS advice.

No issue #

Merge branch '11168-serialize-json'

closes #11168

11138: Show actual image ID when checking whether docker image is loaded.

11168: Double-decode serialized fields if database was mangled by downgraded API server.

11138: Test for docker image after loading, in case docker-load erroneously proclaimed success.

11168: Always deep-sort before comparing in where_serialized.

11168: Remove unused import.

11168: Revert serialization change in order to avoid breaking job reuse.

Merge branch 'master' into 11071-fts-perf-test

11017: Use count='none' for full text search on workbench.
Update groups.load_searchable_objects which is used by contents method
to work with multiple class types when count='none' is used.

11168: Add missing require.

11168: Prohibit down-migration to YAML-only codebase.

11168: Change db serialize from YAML to JSON.

Merge branch '10764-ws-tests'

closes #10764

10764: De-duplicate real/test server startup. Add test for broken config.

10764: Simplify test server shutdown.

10764: Test v0 session.

Merge branch '10777-die-if-arv-mount-dies'

closes #10777

closes #11015
Merge branch '11015-crunch-run-output-upload'

Merge branch 'master' into 11015-crunch-run-output-upload

10764: Permission tests. Support PDH permission check.

10764: Add unit tests

11015: use multiple writers to increate throughput of goUpload.

10979: Add missing SqueueChecker initialization.

refs #10979

Merge branch '11002-arvput-crash-fix'
Closes #11002

11002: Merge branch 'master' into 11002-arvput-crash-fix

11002: Added note explaining why we're expecting a SystemExit to catch a SIGINT (KeyboardInterrupt)

10777: Close and flush logs right away instead of waiting for next tick.

10777: Stop container if arv-mount dies before container exits.

run-tests.sh exit non-zero if gofmt fails

No issue #

10979: Check for orphans only once at startup. Add missing Lock() in
squeue checker. Avoid holding mtx while waiting for API response.
Ensure RunContainer actually gets called in test case.

refs #10979

build improvement: really include apps/workbench_functionals when
apps/workbench is specified.

No issue #

Merge branch '6347-log-timestamps'

closes #6347

Merge branch '10629-fuse-listing-perf' closes #10629

Merge branch '9277-container-output' closes #9277

9277: Add test that setting trashed, unreable collection is disallowed.

6347: Use RFC3339Nano to render timestamps loaded from serialized fields.

Psych (YAML) serializes timestamps as ISO8601-with-space-separators,
and safe_load deserializes them to Time even with
whitelist_classes=[].

Psych.dump(Time.now.utc)
=> "--- 2017-02-22 21:33:22.845133778 Z\n...\n"

Psych.safe_load('2017-02-22 21:33:22.845133778 Z').class
=> Time

Psych.safe_load('2017-02-31 21:33:22.845133778 Z').class
=> String

Before:

Psych.safe_load('2017-02-22 21:33:22.845133778 Z').as_json
=> "2017-02-22T21:33:22Z"

After:

Psych.safe_load('2017-02-22 21:33:22.845133778 Z').as_json
=> "2017-02-22T21:33:22.845133778Z"

refs #10979
Merge branch '10979-cancelled-job-nodes'

10979: fix failing test

9277: arvados-cwl-runner sets "is_trashed" when directly setting output of container.

9277: Container output check must be unscoped to include trashed collections.

closes #10979
Merge branch '10979-cancelled-job-nodes'

Merge branch 'master' into 10979-cancelled-job-nodes

10979: ruby way of doing it

11002: Don't save the state and log the stack trace before quitting upon catching an exception. Also, when receiving SIGINT (KeyboardInterrupt), just quit without any logging.
Updated tests to reflect this new behaviour.

11156: Fix infinite loop condition.

closes #11156

Merge branch '7995-keep-balance-docs'

closes #7995

Remove pidfiles after shutting down test servers.

No issue #

10629: Don't flush dirhandles.

10629: Make tracking and dirtying of _committed flag efficient.

10629: improve debug logging

--debug includes Keep logging.
--logfile includes timestamps.

Merge branch 'master' into 10979-cancelled-job-nodes

10979: refactor squeue invocations

11002: Track this specific error with its own exception class, for future-proofing.

Merge branch '11097-reuse-impure'

closes #11097

7995: Add note about one keep-balance process at a time.

7995: Fix up dry-run instructions.

7995: Fix up inconsistent "e.g." vs. "e.g.,".

7995: Copy edits.

Fix dispatch panic when processing an update after tracker has been closed/deleted.

refs #11151

A few copy edits

Document epydoc dependency

11097: Clarify reuse query.

11097: Update docs to reflect new container reuse behavior.