Merge branch '10484-keepstore-stats' refs #10484

10524: update workbench titles to use "processes" instead of "pipelines and processes" when pipelines are disabled.

10484: Remove unused volumeStats.

10484: Test s3 bucket stats.

10484: Tidy up stats-tracking code into a bucket proxy type.

10484: Track non-s3 errors by Go type.

10484: Track s3 errors by response code.

10484: Report volume IO stats for S3 volumes.

10484: Serve MemStats at /debug.json instead of /status.json.

Merge branch '10499-cwl-crunch2-docs' refs #10499

8460: Move logging setup to log.go, use fixed-width timestamps.

8460: Report status of outgoing queues.

8460: Add /status.json

8460: Inject permChecker from main.

8460: Fix "send to closed channel" race by using context lib to release goroutines.

8460: Accept 403 response from API as "not permitted", instead of "unexpected error".

Merge branch '10470-slurm-error'

refs #10470

10470: Recognize more slurm error messages.

Example from slurm 14.03.9:

srun: error: _server_read: fd 12 got error or unexpected eof reading header
srun: error: step_launch_notify_io_failure: aborting, io error with slurmstepd on node 0
srun: Job step aborted: Waiting up to 2 seconds for job step to finish.

Merge branch '10556-get_anonymous_user_token.rb-multiple-similar-records'

refs #10556

Merge branch '10498-register-with-chosen-api' closes #10498

10498: Check error message in "incompatible APIs" test.

10498: Tweak var names and help messages.

8460: Fix up logging.

Update documentation about get_anonymous_user_token.rb to prevent duplicates

refs #10556

8460: Reply to unparsable messages with status:400.

8460: Stop existing nginx server, if any, before starting new.

8460: Refactor "old events / other messages" mechanism to use the outgoing message queue.

Merge branch 'master' into 10293-cwl-cr-output

Conflicts:
sdk/cwl/arvados_cwl/__init__.py
sdk/cwl/arvados_cwl/arvcontainer.py

8460: Structured logging.

10293: update documentation with scheduling_parameters, log_uuid and output_uuid.

Merge branch '10529-cwl-exception-stuck' closes #10529

8460: Merge branch 'master' into 8460-websocket-go

Merge branch 'master' into 10293-cwl-cr-output

refs #10293
Merge branch '10293-container-request-output-uuid'

Merge branch 'master' into 10293-container-request-output-uuid

10293: add scheduling_parameters to containers controller

Permit use_existing in create-and-commit container requests.  refs #10216

10498: --create-workflow and --create-template do the same thing, depending on --api choice.

Also:

* --update-workflow works for pipeline templates, too.

* --update-workflow establishes --api=jobs or --api=containers
  depending on the UUID. (If this conflicts with an explicit --api
  argument, that is an error.)

* If no --project-uuid is given, the user's UUID is not passed
  explicitly with create/update requests. The API will default to the
  user's UUID or (when updating an existing object) leaving the
  existing object's owner unchanged.

Merge branch '10293-container-request-output-uuid' into 10293-cwl-cr-output

Merge branch 'master' into 10293-cwl-cr-output

Merge branch 'master' into 10293-container-request-output-uuid

closes #10290
Merge branch '10290-container-partitions'

Merge branch 'master' into 10293-cwl-cr-output

10293: update cwl runner

10529: Improve handling errors raised when collecting outputs.  If state
polling thread crashes, terminate executor.

8460: Return recent events if last_log_id given.

8460: Pass tests even if websocket server sends events that do not match our filters.

10290: scheduling_parameters added to container_requests controller.

Merge branch 'master' into 10290-container-partitions

Merge branch '10290-container-partitions' of git.curoverse.com:arvados into 10290-container-partitions

8460: Retrieve recent logs and send old matching events if last_log_id given.

8460: Allow session Receive handler to queue multiple messages.

8460: Support created_at filters.

8460: Send {"status":200} messages. Bring up ws server for Python SDK tests.

8460: Log connection stats.

8460: Cache negative permission.

8460: Send selected old/new attributes with v0 events.

Merge branch '10410-arvbox-ruby' refs #10410

closes #10435
Merge branch '10435-cwl-output-tags'

Merge master to output-tags branch and resolve conflict

10410: Add -o Acquire::Retries and combine package installation into single layer.
Add some packaging and arvbox-related files to .gitignore.

Fix typos.

refs #10346

8460: Merge branch 'master' into 8460-websocket-go

10293: add output and log uuids to containter_request search index.

Merge branch 'master' into 10293-container-request-output-uuid

10293: added log_uuid to container_requests

Merge branch '10346-rearrange-api-docs' closes #10346

10346: Fix formatting on container_request page.

Merge branch '10534-go-systemd-sdnotify-v14' of https://github.com/wtsi-hgi/arvados

refs #10534

9897: Logs errors encountered by block prefetch workers.

Merge branch 'master' into 10293-container-request-output-uuid

Conflicts:
services/api/app/models/container_request.rb
services/api/db/structure.sql

update signature of SdNotify for go-systemd v14

closes #10290
Merge branch '10290-container-partitions'

10290: Add scheduling_parameters map to containers and container_requests, and move partitions array out of runtime_constraints into this.

10290: update test assertions

8460: Use websocket server for integration tests.

8460: JSON request log.

8460: Skip non-log events if filtering by event_type.

8460: Print listening address at startup.

8460: Accept nulls in some columns.

8460: Obey event_type filters if given in all subscription requests.

8460: Avoid log.Fatal once started.

8460: Check permissions on event target instead of log entry.

8460: Cache permissions.

8460: Refactor session logic (subscription protocol) out of handler (queueing and delivery).

8460: Drop unnecessary read timeout handling.

8460: Pass datasource in Go style.

8460: Combine ping and notify goroutines.

8460: Add Log type.

8460: Check permissions.

10346: Add session establishment diagram.  Clarify role of block signatures.
Fix typo on resource pages.

Add num_tries to adding tags and tests for container API

8460: Test and package services/ws as arvados-ws.

8460: Ping clients only when read times out and outgoing queue is empty.

8460: Fix connection cleanup and db connection handling.

8460: Hide *websocket.Conn behind interface.

8460: Send events.

8460: Receive events and broadcast to clients.

8460: Add default config and -dump-config flag.

8460: Scaffold for websocket server.