11170: Updated tests to reflect the use of IO instead of File.

11170: Treat the squeue/scancel calls as files instead of treating them as processes. Calling close when finished reading from them.

11170: Set up a thread to reap the status of squeue runs so that they don't become zombie processes.

Merge branch '8567-docker-migrator' refs #8567

8567: Bugfix check for existing repo+tag links.

8567: arv-keepdocker catches EPIPE so it doesn't print backtrace when piped to
other commands such as "head".

8567: Add migrate19

8567: Better command line UI

Merge branch '11288-slurm-down-reason' closes #11288

11288: Slurm requires reason to put node in DOWN state.

Merge branch '11014-hide-node-status'
Closes #11014

11014: When PipelineInstance API is off and also show_recent_collections_on_dashboard configuration is off, now the "Recent processes" panel will take full screen width.
Corrected test name.
Avoid calling PipelineInstance.api_exist?(:index) more than once.

Merge branch '11254-nodemanager-no-actor' closes #11254

11254: Refactor _node_states

11254: Cloud nodes where "actor is None" are considered to be in shutdown.  The
only time it should be "None" is the period between a successful shutdown and
when the node disappears from the cloud node list.

11014: Check for PipelineIndex#index API to exist for rendering the compute node status pane on the Dashboard.
Added related test.

8567: Add check that admin token is used and ensure that migration links are
created owned by system user.  Also fix tests now that arv-keepdocker uses
logging instead of printing directly to sys.stderr.

closes #11071
Merge branch '11071-fts-perf-test'

11071: formatting on the long if statement

Add missing documentation file.  refs #6520

Merge branch '8567-api-select-docker-fmt' refs #8567

Merge branch '8567-cwl-docker-img' refs #8567

Merge branch '6520-nodemanager-docs' closes #11123

8567: Add note about updating API server configuration.

8567: Add docker19 migration instructions to install guide.

8567: Fix migrate links to use PDH instead of UUID.

Better error reporting.

Migrate script cleans up /var/lib/docker inside container.

8567: Add check for ARVADOS_API_HOST_INSECURE

8567: Rename docker19-migrate to migrate-docker19 for consistency with
arv-migrate-docker19.  Add docstrict to migrate19() function.

8567: Move out of tools/ into sdk/python and docker/docker19-migrate.

8567: Add status reporting to migrate script.

8567: Creates migration links.

8567: Docker image migration WIP.

8567: Fix tests now that container_image provides docker repo+tag and not PDH.

8567: If a search_term looks like a PDH, always treat it as one.  Also use
correct optional parameter syntax.

6520: Add page with sample ping script.  Improve instructions on creating
compute node a little bit.

6520: Add node_mem_scaling to documentation.

6520: Add information about setting up SLURM to crunchv2 documentation.

6520: Node manager docs WIP

8567: Use Docker image repo+tag name instead of PDH so that API server can select correct image format.

11071: test count=none in groups#contents method.

8567: Tests default to image format v1 to avoid breaking all the tests that
uses the :docker_image collection.

8567: Adjust job container resolve test now that images are filtered based on
support version.

8567: Refactor code that queries migration links into get_compatible_images.

8567: Add & tweak tests for selecting compatible Docker image format.

8567: find_all_for_docker_image() returns only Docker images compatible with Rails.configuration.docker_image_formats.  Follows migration links.

Bugfix: python Collection class sets _portable_data_hash in _populate_from_api_server
refs #10956

Merge branch '5036-arv-mount-type'

refs #5036

5036: Add "--subtype foo" flag to set mounted filesystem type to "fuse.foo".

Merge branch '11226-discovery-doc-cache' closes #11226

11226: Disable google api client discovery doc caching, use only httplib2 caching.

Google API client has its own caching mechanism.  The problem is, by default
this goes to /tmp/google-api-python-client-discovery-doc.cache This is a
problem on a multi-user system.  Arvados already provides for discovery doc
caching via httplib2.

Add ability to use "arvbox start test" to re-run tests without tearing down &
restarting whole container.  no issue #

Arvbox now uses Go websockets server instead of Puma. no issue #

Merge branch '3115-keep-disk-create-surprise'

closes #3115

3115: Create keep_disks implicitly only in #ping action, not #show.

Merge branch '11139-nodemanager-mem-scale-factor'
Closes #11139

11139: Merge branch 'master' into 11139-nodemanager-mem-scale-factor

11139: Added new test to check for non-default values. Updated example config files.

Merge branch '11166-log-name-collision'

closes #11166

11139: Added default config parameter 'node_mem_scaling' to be applied to node's ram sticker values. Its default is 95%.
Added test checking the default config and that the value is actually applied to the server calculations.

11166: Use ensure_unique_name to avoid collisions when saving logs and output.

Merge branch '11138-docker-load-fail'

closes #11138

Add missing install step: add keep-balance token to keepstore configs.

No issue #

Remove obsolete GOMAXPROCS advice.

No issue #

Merge branch '11168-serialize-json'

closes #11168

11138: Show actual image ID when checking whether docker image is loaded.

11168: Double-decode serialized fields if database was mangled by downgraded API server.

11138: Test for docker image after loading, in case docker-load erroneously proclaimed success.

11168: Always deep-sort before comparing in where_serialized.

11168: Remove unused import.

11168: Revert serialization change in order to avoid breaking job reuse.

Merge branch 'master' into 11071-fts-perf-test

11017: Use count='none' for full text search on workbench.
Update groups.load_searchable_objects which is used by contents method
to work with multiple class types when count='none' is used.

11168: Add missing require.

11168: Prohibit down-migration to YAML-only codebase.

11168: Change db serialize from YAML to JSON.

Merge branch '10764-ws-tests'

closes #10764

10764: De-duplicate real/test server startup. Add test for broken config.

10764: Simplify test server shutdown.

10764: Test v0 session.

Merge branch '10777-die-if-arv-mount-dies'

closes #10777

closes #11015
Merge branch '11015-crunch-run-output-upload'

Merge branch 'master' into 11015-crunch-run-output-upload

10764: Permission tests. Support PDH permission check.

10764: Add unit tests

11015: use multiple writers to increate throughput of goUpload.

10979: Add missing SqueueChecker initialization.

refs #10979

Merge branch '11002-arvput-crash-fix'
Closes #11002

11002: Merge branch 'master' into 11002-arvput-crash-fix

11002: Added note explaining why we're expecting a SystemExit to catch a SIGINT (KeyboardInterrupt)

10777: Close and flush logs right away instead of waiting for next tick.

10777: Stop container if arv-mount dies before container exits.

run-tests.sh exit non-zero if gofmt fails

No issue #

10979: Check for orphans only once at startup. Add missing Lock() in
squeue checker. Avoid holding mtx while waiting for API response.
Ensure RunContainer actually gets called in test case.

refs #10979

build improvement: really include apps/workbench_functionals when
apps/workbench is specified.

No issue #

Merge branch '6347-log-timestamps'

closes #6347

Merge branch '10629-fuse-listing-perf' closes #10629

Merge branch '9277-container-output' closes #9277

9277: Add test that setting trashed, unreable collection is disallowed.

6347: Use RFC3339Nano to render timestamps loaded from serialized fields.

Psych (YAML) serializes timestamps as ISO8601-with-space-separators,
and safe_load deserializes them to Time even with
whitelist_classes=[].

Psych.dump(Time.now.utc)
=> "--- 2017-02-22 21:33:22.845133778 Z\n...\n"

Psych.safe_load('2017-02-22 21:33:22.845133778 Z').class
=> Time

Psych.safe_load('2017-02-31 21:33:22.845133778 Z').class
=> String

Before:

Psych.safe_load('2017-02-22 21:33:22.845133778 Z').as_json
=> "2017-02-22T21:33:22Z"

After:

Psych.safe_load('2017-02-22 21:33:22.845133778 Z').as_json
=> "2017-02-22T21:33:22.845133778Z"

refs #10979
Merge branch '10979-cancelled-job-nodes'