Merge branch '8470-resolve-container-req'

closes #8470

8470: Resolve docker image hash or tag to collection PDH when creating a Container.

8470: Clean up ContainerRequest tests.

8470: Resolve mounts to PDH.

8470: Resolve runtime_constraints ranges to numbers when satisfying a Container Request.

9488: Add log message to notify users on sucessful websocket reconnect. refs #9488

Merge branch '9486-filter-nodes'

refs #9486

9486: Use API to filter nodes by last_ping_at.

Update run-build-packages versions for schema_salad and cwltool, refs #8442

Merge branch 'origin-8442-cwl-crunch2' closes #8442

Merge branch 'master' into origin-8442-cwl-crunch2

8442: Code cleanup.  Remove dead code.  Update comments.

PySDK: Fix spelling of X-Keep-Desired-Replicas header.

This matches what Keep services expect, and other clients use.
No issue #.

8442: Fix error reporting on missing Docker image

Increase timeout on failing websocket test.  refs #9427

Merge branch '9427-threaded-websockets' closes #9427

8442: Make work_api parameter to ArvCwlRunner constructor optional.

8442: cwl-runner crunch script must provide work_api parameter to ArvCwlRunner
constructor.

8442: Bugfixes from end-to-end testing.

9427: Back out redundant connection pool configuration option and add comment
to database.yml.example about connection pool and websockets.

8442: Fix tests.  Update comments.  Rename jobs -> processes since it doesn't hold just "jobs" any more.

8442: Rename --crunch1 and --crunch2 options to --api=jobs and --api=containers

Merge branch '9180-avoid-overreplication-keepclient'

Closes #9180

Merge branch '9353-retry-http-error' closes #9353

9427: Add limits for connections, subscriptions, queued notifications, and
database connections to configuration.  Check notify queue size on push instead
of on pop and close connection immediately.

Add missing arvbox package "virtualenv" refs #9408

9427: Add connection limit.

Bugfix "arv-ws --id" option, refs #9388.

9427: Websockets now uses a thread per connection for database query and
sending outgoing messages.  This minimizes interference by slow clients or
clients that are "replaying the world" with a last_log_id far in the past.

closes #9372
Merge branch '9372-container-display'

Merge branch 'master' into 9372-container-display

9372: improve container_work_unit -> uri method to check if @proxied will respond_to table_name instead of using a rescue.

9180: Changed some of the logic on ThreadLimiter and made unit tests to validate the new behaviour
refs #9180

9372: The children of a Container will be ContainerRequests to which this is the requesting_container_uuid.

9372: variable names and comments.

9408: Restore build-essential and ruby-dev to arvbox.

These were previously being pulled in as Recommends, and they're
necessary to build gems for the demo image.
Refs #9408.

Merge branch '9417-asserttrue-for-value-comparison'

Closes #9417

9417: Replaced assertTrue() with assertEqual() on RetryNeedsMultipleServices's tests

First try, don't think it'll work

8442: Generatefiles encode utf-8

8442: Submit CommandLineTool containers directly without an intermediate
workflow runner.  Handle unsupported feature gracefully.

8442: Tweak internal handling of keep: paths, examine exit codes to determine
success/fail.

8442: more import fixups, import workflow file correctly.

8442: import fixups

8442: Debugging container --submit with crunch2

8442: Adding --submit support with --crunch2.  General refactoring into more/smaller files.

8442: Fix message

8442: raise UnsupportedRequirement for unsupported features in the conformance
tests.  Bump cwltool dependency.

8442: Setting up mount points works.  Capturing output works.

8442: Return PDH for Docker container.  Working on setting up mount points.

8442: Submit containers Work in progess.

8442: Add --crunch1/--crunch2 switch

8442: CWL create crunch2 containers WIP

Merge branch '9395-keep-balance-page-size'

closes #9395

9395: Fix encoding of integers in query params.

9395: Explain CollectionBatchSize and CollectionBuffers in -help message.

9395: Add CollectionBuffers config to keep-balance.

9395: Add CollectionBatchSize config to keep-balance.

Add missing arvbox package "sudo" refs #9408

Use "less -R" in "arvbox log" so that color codes from api server logs display
properly.  no issue #

Merge branch '9309-centos-7-install-guide-wip'

Refs #9309.  Closes #9368.

9309: Add CentOS 7 to Install Guide.

Add missing package 'less'.  Also reduce crunch-dispatch-local poll interval to 3 seconds.  no issue #

Merge branch 'master' into 9372-container-display

Merge branch '9408-arvbox-dockerfile-pulls-unnecessary-packages'

refs #9408

9372: Corrected dashboard display to list container_requests, not containers as implementd in #9318.

9309: Bump Rails package iteration.

To accommodate systemd support in the package scripts.
Refs #9309.

Package build directories get same owner as $WORKSPACE.

Since this script runs as root inside the Docker container, the
directory created on the previous line is normally owned by root too.
This causes trouble when the package tests run later and try to create
repository information inside the directory.  See, e.g.,
<https://ci.curoverse.com/job/build-packages-sso/23/consoleFull> for a
build that failed because of this.

No issue #.

Merge branch '9309-centos-7-rails-scripts-wip'

Refs #9309.  Closes #9351, #9345.

9345: Use same script to test all Rails packages.

We want to simplify the SSO test script for a variety of reasons.  We
don't want the package to depend on the PostgreSQL server; testing
proper PostgreSQL server configuration is a little out of scope for
this; and it's difficult to execute the test in a CentOS 7 Docker
image.  This commit has the SSO server follow the same test strategy
as other Rails servers.

9309: Add systemd support to Rails package scripts.

9408: Added apt-get flag to avoid installing 'Recommended:' packages, it's better to have an explicit dependency list. Also, added bzip2 that was being pulled implicitly and it's needed.

Merge branch '9374-go-sdk'

refs #9374

9374: Remove unused receivers.

9374: Fix uses of "this" as receiver name.

9374: Use arvados.Collection instead of own CollectionRecord.

9374: Propagate API transaction error details from response body to caller.

9374: Add arvados.APIClientAuthorization.

9374: Consolidate various Container structs as arvados.Container.

9372: name and description can be edited on containers and container_requests despite the state.

Merge branch '9388-websocket-every-notify' closes #9388

Merge branch '8442-crunch-run-enable-net' refs #8442

9388: Reset sent_ids for consistency

9388: Add ws.notify_queue to ensure that notifies occurring during "catch up"
will get delivered in the correct order after catch up completes.

9388: Only record log ids sent during "catch up" phase, to avoid duplicates.

9372: test cancel button for jobs and container_requests.

Merge branch 'master' into 9372-container-display

closes #9274
Merge branch '9274-requesting-container-uuid'

9353: Don't retry all BaseHTTPError, only retry InvalidInstanceID.NotFound.

Merge branch '9370-crunch2-packages-wip'

Closes #9370, #9382.

9370: Package Crunch v2 dispatch services.

9370: Alphabetize the package_go_binary list.

9372: container display

8442: Enable net when API is enabled.

bumped the selenium driver version to 2.53.1 to see if we can manage our way out failed builds

no issue #

9309: Bugfix Ruby source install instructions for CentOS.

* Add missing `make` dependency.
* Add `-i` to `sudo gem install` throughout.  Red Hat adds /usr/local
  paths to $PATH in `/etc/profile`, so we need `-i` to find `gem`.

Refs #9309.

refs #9318
Merge branch '9318-dashboard-uses-work-units'

9318: fixed outputs display issue where "outpus: []" is being shown when there are no outputs.

9274: while creating a ContainerRequest, set requesting_container_uuid based on the token.

9353: Add libcloud.common.BaseHTTPError to CLOUD_ERRORS.

Due to eventual consistency, it seems that calling ex_create_tags() on a node
that has just been created can return "InvalidInstanceID.NotFound" for some
period.  The ec2 driver raises BaseHTTPError when it doesn't recognize a more
specific error, however prior to this commit, this wasn't recognized as a
retryable error, so node manager would fall over.  This commit makes
BaseHTTPError a retryable error.