9369: Copyedits throughout the CWL docs.

9369: tweaks

9369: arvados-cwl-runner documentation and examples, add deprecation notices to pipeline documentation

Update arvados-cwl-runner cwltool pin to get ruamel.yaml fix (c8f584840591f3a4a0fad3bce6b39f8866cd9dad) refs #9458

Merge branch '9513-keepproxy-content-length'

closes #9513

9513: Do not set response Content-Length to -1 when returning 411 Length Required.

Add tests for requests with bad/missing Content-Length headers.

Merge branch '9518-username-conflict'

closes #9518

9518: Fix username conflict resolution.

closes #9407
Merge branch '9407-container-log-viewer'

9407: container log view

Merge branch '9511-cwl-type-checking' closes #9511

9511: Bump cwltool dependency to get bugfix (81ff56f239de3ff0d17c8dec98d1a40f1e41cb7d) affecting bcbio run.

Merge branch '9442-cwl-runtime-outdir' closes #9442

9442: Incorporate check for correct $(runtime.outdir) into tests.

9442: Make cwl-runner crunch script backwards compatible (note-6)

9442: Fix runtime.outdir for containers.

9442: Override kwargs["outdir"] so that $(runtime.outdir) is set correctly.

Merge branch '9446-refactor-keep-parallel-write-strategy'

9446: PySDK Keep concurrent write refactoring. Simplified thread management using a thread pool and a queue.
ThreadLimiter not needed anymore, so related tests were rewritten for the new code.
Closes #9446

Merge branch '9491-desired-replicas'

closes #9491

9491: Fix keepproxy support for X-Keep-Desired-Replicas header.

9491: Put*() return number of replicas actually stored, even if we ended up storing more than requested.

Merge branch '8470-resolve-container-req'

closes #8470

8470: Resolve docker image hash or tag to collection PDH when creating a Container.

8470: Clean up ContainerRequest tests.

8470: Resolve mounts to PDH.

8470: Resolve runtime_constraints ranges to numbers when satisfying a Container Request.

9446: Applying Peter's review suggestions. refs #9446

PySDK put() refactoring ready, all local tests worked OK

Some tests done on new code

9488: Add log message to notify users on sucessful websocket reconnect. refs #9488

Merge branch '9486-filter-nodes'

refs #9486

One last method before calling it a day

Ready to start testing code

9486: Use API to filter nodes by last_ping_at.

Update run-build-packages versions for schema_salad and cwltool, refs #8442

Merge branch 'origin-8442-cwl-crunch2' closes #8442

Merge branch 'master' into origin-8442-cwl-crunch2

8442: Code cleanup.  Remove dead code.  Update comments.

PySDK: Fix spelling of X-Keep-Desired-Replicas header.

This matches what Keep services expect, and other clients use.
No issue #.

8442: Fix error reporting on missing Docker image

Increase timeout on failing websocket test.  refs #9427

Merge branch '9427-threaded-websockets' closes #9427

8442: Make work_api parameter to ArvCwlRunner constructor optional.

8442: cwl-runner crunch script must provide work_api parameter to ArvCwlRunner
constructor.

8442: Bugfixes from end-to-end testing.

9427: Back out redundant connection pool configuration option and add comment
to database.yml.example about connection pool and websockets.

8442: Fix tests.  Update comments.  Rename jobs -> processes since it doesn't hold just "jobs" any more.

8442: Rename --crunch1 and --crunch2 options to --api=jobs and --api=containers

Merge branch '9180-avoid-overreplication-keepclient'

Closes #9180

Merge branch '9353-retry-http-error' closes #9353

9427: Add limits for connections, subscriptions, queued notifications, and
database connections to configuration.  Check notify queue size on push instead
of on pop and close connection immediately.

Add missing arvbox package "virtualenv" refs #9408

9427: Add connection limit.

Bugfix "arv-ws --id" option, refs #9388.

9427: Websockets now uses a thread per connection for database query and
sending outgoing messages.  This minimizes interference by slow clients or
clients that are "replaying the world" with a last_log_id far in the past.

closes #9372
Merge branch '9372-container-display'

Merge branch 'master' into 9372-container-display

9372: improve container_work_unit -> uri method to check if @proxied will respond_to table_name instead of using a rescue.

9180: Changed some of the logic on ThreadLimiter and made unit tests to validate the new behaviour
refs #9180

9372: The children of a Container will be ContainerRequests to which this is the requesting_container_uuid.

9372: variable names and comments.

9408: Restore build-essential and ruby-dev to arvbox.

These were previously being pulled in as Recommends, and they're
necessary to build gems for the demo image.
Refs #9408.

Merge branch '9417-asserttrue-for-value-comparison'

Closes #9417

9417: Replaced assertTrue() with assertEqual() on RetryNeedsMultipleServices's tests

First try, don't think it'll work

8442: Generatefiles encode utf-8

8442: Submit CommandLineTool containers directly without an intermediate
workflow runner.  Handle unsupported feature gracefully.

8442: Tweak internal handling of keep: paths, examine exit codes to determine
success/fail.

8442: more import fixups, import workflow file correctly.

8442: import fixups

8442: Debugging container --submit with crunch2

8442: Adding --submit support with --crunch2.  General refactoring into more/smaller files.

8442: Fix message

8442: raise UnsupportedRequirement for unsupported features in the conformance
tests.  Bump cwltool dependency.

8442: Setting up mount points works.  Capturing output works.

8442: Return PDH for Docker container.  Working on setting up mount points.

8442: Submit containers Work in progess.

8442: Add --crunch1/--crunch2 switch

8442: CWL create crunch2 containers WIP

Merge branch '9395-keep-balance-page-size'

closes #9395

9395: Fix encoding of integers in query params.

9395: Explain CollectionBatchSize and CollectionBuffers in -help message.

9395: Add CollectionBuffers config to keep-balance.

9395: Add CollectionBatchSize config to keep-balance.

Add missing arvbox package "sudo" refs #9408

Use "less -R" in "arvbox log" so that color codes from api server logs display
properly.  no issue #

Merge branch '9309-centos-7-install-guide-wip'

Refs #9309.  Closes #9368.

9309: Add CentOS 7 to Install Guide.

Add missing package 'less'.  Also reduce crunch-dispatch-local poll interval to 3 seconds.  no issue #

Merge branch 'master' into 9372-container-display

Merge branch '9408-arvbox-dockerfile-pulls-unnecessary-packages'

refs #9408

9372: Corrected dashboard display to list container_requests, not containers as implementd in #9318.

9309: Bump Rails package iteration.

To accommodate systemd support in the package scripts.
Refs #9309.

Package build directories get same owner as $WORKSPACE.

Since this script runs as root inside the Docker container, the
directory created on the previous line is normally owned by root too.
This causes trouble when the package tests run later and try to create
repository information inside the directory.  See, e.g.,
<https://ci.curoverse.com/job/build-packages-sso/23/consoleFull> for a
build that failed because of this.

No issue #.

Merge branch '9309-centos-7-rails-scripts-wip'

Refs #9309.  Closes #9351, #9345.

9345: Use same script to test all Rails packages.

We want to simplify the SSO test script for a variety of reasons.  We
don't want the package to depend on the PostgreSQL server; testing
proper PostgreSQL server configuration is a little out of scope for
this; and it's difficult to execute the test in a CentOS 7 Docker
image.  This commit has the SSO server follow the same test strategy
as other Rails servers.

9309: Add systemd support to Rails package scripts.

9408: Added apt-get flag to avoid installing 'Recommended:' packages, it's better to have an explicit dependency list. Also, added bzip2 that was being pulled implicitly and it's needed.

Merge branch '9374-go-sdk'

refs #9374

9374: Remove unused receivers.