8460: Merge branch 'master' into 8460-websocket-go

8460: Return recent events if last_log_id given.

8460: Pass tests even if websocket server sends events that do not match our filters.

8460: Retrieve recent logs and send old matching events if last_log_id given.

8460: Allow session Receive handler to queue multiple messages.

8460: Support created_at filters.

8460: Send {"status":200} messages. Bring up ws server for Python SDK tests.

8460: Log connection stats.

8460: Cache negative permission.

8460: Send selected old/new attributes with v0 events.

Merge branch '10410-arvbox-ruby' refs #10410

closes #10435
Merge branch '10435-cwl-output-tags'

Merge master to output-tags branch and resolve conflict

10410: Add -o Acquire::Retries and combine package installation into single layer.
Add some packaging and arvbox-related files to .gitignore.

Fix typos.

refs #10346

8460: Merge branch 'master' into 8460-websocket-go

Merge branch '10346-rearrange-api-docs' closes #10346

10346: Fix formatting on container_request page.

Merge branch '10534-go-systemd-sdnotify-v14' of https://github.com/wtsi-hgi/arvados

refs #10534

update signature of SdNotify for go-systemd v14

closes #10290
Merge branch '10290-container-partitions'

10290: Add scheduling_parameters map to containers and container_requests, and move partitions array out of runtime_constraints into this.

8460: Use websocket server for integration tests.

8460: JSON request log.

8460: Skip non-log events if filtering by event_type.

8460: Print listening address at startup.

8460: Accept nulls in some columns.

8460: Obey event_type filters if given in all subscription requests.

8460: Avoid log.Fatal once started.

8460: Check permissions on event target instead of log entry.

8460: Cache permissions.

8460: Refactor session logic (subscription protocol) out of handler (queueing and delivery).

8460: Drop unnecessary read timeout handling.

8460: Pass datasource in Go style.

8460: Combine ping and notify goroutines.

8460: Add Log type.

8460: Check permissions.

10346: Add session establishment diagram.  Clarify role of block signatures.
Fix typo on resource pages.

Add num_tries to adding tags and tests for container API

8460: Test and package services/ws as arvados-ws.

8460: Ping clients only when read times out and outgoing queue is empty.

8460: Fix connection cleanup and db connection handling.

8460: Hide *websocket.Conn behind interface.

8460: Send events.

8460: Receive events and broadcast to clients.

8460: Add default config and -dump-config flag.

8460: Scaffold for websocket server.

Merge branch '10517-consistent-select' closes #10517

Fixes API server to return default columns for collections

Prior to this fix, if a request has a query param `select=`
(as opposed to just omitting `select` entirely), the API
server would return a full set of columns rather than
enforcing its own defaults.

Fixes #10517, assuming this was a bug and not a feature.

10517: Test edge cases in "deselect manifest_text by default" feature.

3486: Fix ignored "required: false" in pipeline template. refs #3486 refs #10470

10346: Add slides about Keep and Crunch.

10410: Build Ruby from source instead using Debian package in order to install a more recent Ruby.

10346: Fix cross references

10346: Updates from review comments.

Fix typo and modify test

10346: Document manifest format in more detail.  Document token signatures.  Add Arvados_permissions.svg

Change output_tags to an attribute instead of kwarg, modify tests

closes #10310
Merge branch '10310-crunch2-workbench'

10310: invoke index and show actions only when they are not blacklisted by the api server.

10310: Check discovery doc when deciding ArvadosBase.creatable?.

Merge branch '10460-cwl-staging-fix' refs #10460

10346: Edits from review WIP.

10460: Add check for 'dockerOutputDirectory' and raise UnsupportedError for now.

Merge branch '10467-client-disconnect' refs #10467

10460: Want to propagate size fields to output.

10467: Merge branch 'master' into 10467-client-disconnect

10460: Don't use adjustFileObjs to set secondaryFiles because it traverses secondaryFiles.

Add --output-tags to arvados-cwl-runner and tests

10467: Use context.Background() for tests and background processes.

10460: Add implied secondaryFiles based on input parameter spec.

10466: Report missing 'location' in File object as workflow error.

10460: Fix initialWorkDir file staging broken by change in visit() behavior for directories.

Merge branch '10468-blob-storage-timeouts' closes #10468

Merge branch '10460-cwl-directory-literal' closes #10460

10460: Style tweak make_output_collection

Run keep-exercise tests. No issue #

keep-exercise: limit PRNG usage to 512KiB per write. No issue #

10468: Use consts for defaults.

Package keep-exercise.

No issue #

Update keep-exercise to new SDK. No issue #

10467: Check for Go 1.7.

10467: Update keep-exercise to new SDK.

10467: Interrupt Compare operation if caller disconnects.

10467: Use ErrClientDisconnect. Convert type assertion panic to 500 error.

10467: Fix context error not propagated.

10467: Fix ctx not propagated.

10467: Fix context usage: ensure cancel always gets called.

10467: Tidy up s3 early-cancel.

10467: Use context instead of http.CloseNotifier to interrupt buffer waits.

10467: Fix panic: cannot call CloseNotify() after ServeHTTP finishes.

10467: Abort S3 and release buffer if caller disconnects during S3 PUT request.

10467: Move http request context setup out to func.

10467: Return "context done" error instead of 404 if client hangs up during GET.

10467: Add Debug flag to config.

10467: Abort S3 request and release buffer if caller disconnects while server is waiting for S3.

10468: Add RequestTimeout to Azure volume config.

10468: Use long S3 timeouts by default, instead of waiting forever.

10468: Add ConnectTimeout and ReadTimeout configs for S3 volumes.

10460: Update cwltool dependency.