Merge branch '8567-docker-migrator' refs #8567

Merge branch '11325-no-broken-nodes' refs #11323, refs #11324, refs #11325

11323: Don't try to offer_arvados_pair on unpaired nodes which are being shut down.

11324: Fix crash in NodeManagerDaemonActor when receiving a node_can_shutdown
message for a node that has already been shut down.

Merge branch '10766-install-ws'

closes #10766

Merge branch '11065-rotate-logs'

closes #11065

11065: Avoid scientific notation in PostgreSQL literal.

11065: Update comments.

Merge branch '11221-always-restart-services'

closes #11221

11325: Remove "broken node" check.  Assume if the node really isn't
functioning, it should be "down" in SLURM anyway.  Remove test_broken_node_not_counted because broken node check is removed.

10766: Fix copy-paste error in godoc link.

10766: Migrate install guide from puma to arvados-ws.

Merge branch '10669-safe-http-cache'

closes #10669

10669: Improve error reporting in test case.

Merge branch '11255-docker-host-networking' closes #11255

11255: Fix whitespace

11255: Add documentation about configuration to enable host networking always.

11255: Add -container-enable-networking and -container-network-mode options.

Merge branch '11170-stale-squeue-procs'
Closes #11170

10669: pep8

10669: Test that SafeHTTPCache is actually used.

10669: Only delete *.tmp when cleaning old cache files.

10699: Delete >2-day old cache entries.

10669: Bust old (possibly broken) cache entries by naming our files *.tmp

10669: Robust cache for httplib2

Merge branch '10218-record-node-info'
Closes #10218

10218: Avoid running df commands more than necessary. Updated test to check for disk inodes report. Added deferred Close() call on CallRaw reader.

11065: Merge branch 'master' into 11065-rotate-logs

10218: Added calls to "df -i" to record free i-nodes. Combined stdout and stderr when running node info commands.

10218: Ask for disk space on 2 specific filesystems (/ & /tmp) to avoid having the df command to return an error on special cases.

10218: Merge branch 'master' into 10218-record-node-info

10218: Get the container record directly from the API server, instead of Marshaling runner.Container.

Merge branch '7709-sdk-cli-active_support'

refs #7709

Fix broken link from crunch2 to crunch1 docs.

refs #6520

Do not let golang.org/x/tools/cmd/bundle get ahead of Ruby bundler.

refs https://dev.arvados.org/projects/arvados/wiki/Emacs_and_Go

No issue #

8567: Add start_docker and kill_docker functions with wait loops.

7709: arvados-cli allows activesupport>=4

11170: Calling close method from an ensure block.

11065: Defer audit log cleanup until after_commit.

11170: Updated tests to reflect the use of IO instead of File.

8567: Make sure /root/.cache/arvados/docker is tempdir volume mount as well.

8567: Use vfs Docker graph driver for maximum compatability.  --dry-run reports
maximum image size.  Add --tempdir option.

Fix test broken by change of default behavior in arv-keepdocker. refs #8567

11065: Delete old audit logs.

11170: Treat the squeue/scancel calls as files instead of treating them as processes. Calling close when finished reading from them.

10218: Merge branch 'master' into 10218-record-node-info

If API server doesn't publish supported Docker image versions, make that an
error instead of a warning (can be overridden with --force-image-format)
refs #8567

11170: Set up a thread to reap the status of squeue runs so that they don't become zombie processes.

Merge branch '8567-docker-migrator' refs #8567

8567: Bugfix check for existing repo+tag links.

closes #11290
Merge branch '11290-caret-font'

8567: arv-keepdocker catches EPIPE so it doesn't print backtrace when piped to
other commands such as "head".

8567: Add migrate19

11290: Reverted "fa-caret-down" usage back to 'span class="caret"' with href added to it. Working with Firefox and Chrome now.

8567: Better command line UI

Merge branch '11288-slurm-down-reason' closes #11288

10218: Save the container record as a json file and also write it on the logs.

11288: Slurm requires reason to put node in DOWN state.

Merge branch '11014-hide-node-status'
Closes #11014

11014: When PipelineInstance API is off and also show_recent_collections_on_dashboard configuration is off, now the "Recent processes" panel will take full screen width.
Corrected test name.
Avoid calling PipelineInstance.api_exist?(:index) more than once.

Merge branch '11254-nodemanager-no-actor' closes #11254

11254: Refactor _node_states

11254: Cloud nodes where "actor is None" are considered to be in shutdown.  The
only time it should be "None" is the period between a successful shutdown and
when the node disappears from the cloud node list.

10218: Use a []string for the entire command instead of splitting it.

11014: Check for PipelineIndex#index API to exist for rendering the compute node status pane on the Dashboard.
Added related test.

10218: Wait for container to be started (not just created) before trying to cancel it.

10218: Split multi-line command output so that each line is written to the logs independently.

10218: Logging node information (cpu, mem, disk) by storing command outputs on the log collection. Added relevant test.

8567: Add check that admin token is used and ensure that migration links are
created owned by system user.  Also fix tests now that arv-keepdocker uses
logging instead of printing directly to sys.stderr.

closes #11071
Merge branch '11071-fts-perf-test'

11071: formatting on the long if statement

Add missing documentation file.  refs #6520

Merge branch '8567-api-select-docker-fmt' refs #8567

Merge branch '8567-cwl-docker-img' refs #8567

Merge branch '6520-nodemanager-docs' closes #11123

8567: Add note about updating API server configuration.

8567: Add docker19 migration instructions to install guide.

8567: Fix migrate links to use PDH instead of UUID.

Better error reporting.

Migrate script cleans up /var/lib/docker inside container.

8567: Add check for ARVADOS_API_HOST_INSECURE

8567: Rename docker19-migrate to migrate-docker19 for consistency with
arv-migrate-docker19.  Add docstrict to migrate19() function.

8567: Move out of tools/ into sdk/python and docker/docker19-migrate.

8567: Add status reporting to migrate script.

8567: Creates migration links.

8567: Docker image migration WIP.

8567: Fix tests now that container_image provides docker repo+tag and not PDH.

8567: If a search_term looks like a PDH, always treat it as one.  Also use
correct optional parameter syntax.

6520: Add page with sample ping script.  Improve instructions on creating
compute node a little bit.

6520: Add node_mem_scaling to documentation.

6520: Add information about setting up SLURM to crunchv2 documentation.

6520: Node manager docs WIP

8567: Use Docker image repo+tag name instead of PDH so that API server can select correct image format.

11071: test count=none in groups#contents method.

8567: Tests default to image format v1 to avoid breaking all the tests that
uses the :docker_image collection.

8567: Adjust job container resolve test now that images are filtered based on
support version.

8567: Refactor code that queries migration links into get_compatible_images.

8567: Add & tweak tests for selecting compatible Docker image format.

8567: find_all_for_docker_image() returns only Docker images compatible with Rails.configuration.docker_image_formats.  Follows migration links.

Bugfix: python Collection class sets _portable_data_hash in _populate_from_api_server
refs #10956

Merge branch '5036-arv-mount-type'

refs #5036

5036: Add "--subtype foo" flag to set mounted filesystem type to "fuse.foo".