Merge branch 'origin-8442-cwl-crunch2' closes #8442

Merge branch 'master' into origin-8442-cwl-crunch2

8442: Code cleanup.  Remove dead code.  Update comments.

PySDK: Fix spelling of X-Keep-Desired-Replicas header.

This matches what Keep services expect, and other clients use.
No issue #.

8442: Fix error reporting on missing Docker image

Increase timeout on failing websocket test.  refs #9427

Merge branch '9427-threaded-websockets' closes #9427

8442: Make work_api parameter to ArvCwlRunner constructor optional.

8442: cwl-runner crunch script must provide work_api parameter to ArvCwlRunner
constructor.

8442: Bugfixes from end-to-end testing.

9427: Back out redundant connection pool configuration option and add comment
to database.yml.example about connection pool and websockets.

8442: Fix tests.  Update comments.  Rename jobs -> processes since it doesn't hold just "jobs" any more.

8442: Rename --crunch1 and --crunch2 options to --api=jobs and --api=containers

Merge branch '9180-avoid-overreplication-keepclient'

Closes #9180

Merge branch '9353-retry-http-error' closes #9353

9427: Add limits for connections, subscriptions, queued notifications, and
database connections to configuration.  Check notify queue size on push instead
of on pop and close connection immediately.

Add missing arvbox package "virtualenv" refs #9408

9427: Add connection limit.

Bugfix "arv-ws --id" option, refs #9388.

9427: Websockets now uses a thread per connection for database query and
sending outgoing messages.  This minimizes interference by slow clients or
clients that are "replaying the world" with a last_log_id far in the past.

closes #9372
Merge branch '9372-container-display'

Merge branch 'master' into 9372-container-display

9372: improve container_work_unit -> uri method to check if @proxied will respond_to table_name instead of using a rescue.

9180: Changed some of the logic on ThreadLimiter and made unit tests to validate the new behaviour
refs #9180

9372: The children of a Container will be ContainerRequests to which this is the requesting_container_uuid.

9372: variable names and comments.

9408: Restore build-essential and ruby-dev to arvbox.

These were previously being pulled in as Recommends, and they're
necessary to build gems for the demo image.
Refs #9408.

Merge branch '9417-asserttrue-for-value-comparison'

Closes #9417

9417: Replaced assertTrue() with assertEqual() on RetryNeedsMultipleServices's tests

First try, don't think it'll work

8442: Generatefiles encode utf-8

8442: Submit CommandLineTool containers directly without an intermediate
workflow runner.  Handle unsupported feature gracefully.

8442: Tweak internal handling of keep: paths, examine exit codes to determine
success/fail.

8442: more import fixups, import workflow file correctly.

8442: import fixups

8442: Debugging container --submit with crunch2

8442: Adding --submit support with --crunch2.  General refactoring into more/smaller files.

8442: Fix message

8442: raise UnsupportedRequirement for unsupported features in the conformance
tests.  Bump cwltool dependency.

8442: Setting up mount points works.  Capturing output works.

8442: Return PDH for Docker container.  Working on setting up mount points.

8442: Submit containers Work in progess.

8442: Add --crunch1/--crunch2 switch

8442: CWL create crunch2 containers WIP

Merge branch '9395-keep-balance-page-size'

closes #9395

9395: Fix encoding of integers in query params.

9395: Explain CollectionBatchSize and CollectionBuffers in -help message.

9395: Add CollectionBuffers config to keep-balance.

9395: Add CollectionBatchSize config to keep-balance.

Add missing arvbox package "sudo" refs #9408

Use "less -R" in "arvbox log" so that color codes from api server logs display
properly.  no issue #

Merge branch '9309-centos-7-install-guide-wip'

Refs #9309.  Closes #9368.

9309: Add CentOS 7 to Install Guide.

Add missing package 'less'.  Also reduce crunch-dispatch-local poll interval to 3 seconds.  no issue #

Merge branch 'master' into 9372-container-display

Merge branch '9408-arvbox-dockerfile-pulls-unnecessary-packages'

refs #9408

9372: Corrected dashboard display to list container_requests, not containers as implementd in #9318.

9309: Bump Rails package iteration.

To accommodate systemd support in the package scripts.
Refs #9309.

Package build directories get same owner as $WORKSPACE.

Since this script runs as root inside the Docker container, the
directory created on the previous line is normally owned by root too.
This causes trouble when the package tests run later and try to create
repository information inside the directory.  See, e.g.,
<https://ci.curoverse.com/job/build-packages-sso/23/consoleFull> for a
build that failed because of this.

No issue #.

Merge branch '9309-centos-7-rails-scripts-wip'

Refs #9309.  Closes #9351, #9345.

9345: Use same script to test all Rails packages.

We want to simplify the SSO test script for a variety of reasons.  We
don't want the package to depend on the PostgreSQL server; testing
proper PostgreSQL server configuration is a little out of scope for
this; and it's difficult to execute the test in a CentOS 7 Docker
image.  This commit has the SSO server follow the same test strategy
as other Rails servers.

9309: Add systemd support to Rails package scripts.

9408: Added apt-get flag to avoid installing 'Recommended:' packages, it's better to have an explicit dependency list. Also, added bzip2 that was being pulled implicitly and it's needed.

Merge branch '9374-go-sdk'

refs #9374

9374: Remove unused receivers.

9374: Fix uses of "this" as receiver name.

9374: Use arvados.Collection instead of own CollectionRecord.

9374: Propagate API transaction error details from response body to caller.

9374: Add arvados.APIClientAuthorization.

9374: Consolidate various Container structs as arvados.Container.

9372: name and description can be edited on containers and container_requests despite the state.

Merge branch '9388-websocket-every-notify' closes #9388

Merge branch '8442-crunch-run-enable-net' refs #8442

9388: Reset sent_ids for consistency

9388: Add ws.notify_queue to ensure that notifies occurring during "catch up"
will get delivered in the correct order after catch up completes.

9388: Only record log ids sent during "catch up" phase, to avoid duplicates.

9372: test cancel button for jobs and container_requests.

Merge branch 'master' into 9372-container-display

closes #9274
Merge branch '9274-requesting-container-uuid'

9353: Don't retry all BaseHTTPError, only retry InvalidInstanceID.NotFound.

Merge branch '9370-crunch2-packages-wip'

Closes #9370, #9382.

9370: Package Crunch v2 dispatch services.

9370: Alphabetize the package_go_binary list.

9372: container display

8442: Enable net when API is enabled.

bumped the selenium driver version to 2.53.1 to see if we can manage our way out failed builds

no issue #

9309: Bugfix Ruby source install instructions for CentOS.

* Add missing `make` dependency.
* Add `-i` to `sudo gem install` throughout.  Red Hat adds /usr/local
  paths to $PATH in `/etc/profile`, so we need `-i` to find `gem`.

Refs #9309.

refs #9318
Merge branch '9318-dashboard-uses-work-units'

9318: fixed outputs display issue where "outpus: []" is being shown when there are no outputs.

9274: while creating a ContainerRequest, set requesting_container_uuid based on the token.

9353: Add libcloud.common.BaseHTTPError to CLOUD_ERRORS.

Due to eventual consistency, it seems that calling ex_create_tags() on a node
that has just been created can return "InvalidInstanceID.NotFound" for some
period.  The ec2 driver raises BaseHTTPError when it doesn't recognize a more
specific error, however prior to this commit, this wasn't recognized as a
retryable error, so node manager would fall over.  This commit makes
BaseHTTPError a retryable error.

9388: Record every log id sent and don't send duplicates.

closes #9318, closes #8650
Merge branch '9318-dashboard-uses-work-units'

Merge branch 'master' into 9318-dashboard-uses-work-units

9388: Process each notify individually instead attempting to batch them up.

Prior to this commit, websockets used to try to send log events out in batches,
by getting all logs with an id greater than last log that was sent.
Unfortunately, under concurrent database writes, logs from uncommited
transactions may not appear in the query even if logs with larger ids do
appear.  This results in the uncommitted log never being sent out because
subsequent batch sends would not consider logs prior to the last log id that
was sent (which, in this case, is higher than the log that was missed.)

This commit eliminates the batching behavior.  Because NOTIFY includes the log
id of a specific record that was committed, consider only the log record with
that id and process events in the order that the NOTIFY events arrive.  This
means events may be delivered out of numeric order (although they now more
closely reflect the "actual" order, e.g. the order that the events were
actually committed to the database).

"Catch ups" where the client has specified a last_log_id and needs to have past
logs replayed continue to be sent in batches.

9187: Add priorities to crunch-dispatch-local test containers.

This is necessary to keep the tests working after
2c4ff054b533c62ecdb269963d3ab0af20d2df8b.
Otherwise, crunch-dispatch-local declines to do anything with them.
Refs #9187.

Merge branch '9187-requeued-containers' closes #9187

9187: Add comments.

9318: Update the compute node status pane to make sure the Details option is only offered when there are any active nodes.

Merge branch 'master' into 9318-dashboard-uses-work-units