Merge branch '9528-slurm-parsable'

closes #9528

9528: Drop sbatch --parsable flag. It fails in older versions of slurm,
and we don't need to parse the output anyway.

Revert "Bump cwltool dependency. Previously pinned version was broken."

This reverts commit d8900c1b1410b97ad24aba69d9f8fa1f042afc90.

No issue #

Bump cwltool dependency. Previously pinned version was broken.

cwltool==1.0.20160630171631 depends on
schema-salad==1.12.20160610104117, which contains an errant .py file
with syntax errors. Installing with pip emits an error message and
succeeds. Installing as an fpm->deb package emits the same error
message and fails.

Linking and byte-compiling packages for runtime python2.7...
  File "/usr/lib/python2.7/dist-packages/schema_salad/ref_resolver_BACKUP_28804.py", line 222
      <<<<<<< 973dceb3aeef33920968fa257c7b04885a3a716d
           ^
           SyntaxError: invalid syntax

No issue #

Merge branch '9542-websocket-queries'

refs #9542

9542: Avoid retrieving huge result sets from postgres.

Respect running_job_log_records_to_fetch in JobsController#logs.

Fixes flaky test
WebsocketTest#test_test_running_job_with_too_many_previous_log_records
(see https://ci.curoverse.com/job/arvados-api-server/3092/consoleText)

No issue #

8016: Rename Poll to PollPeriod. Amends c63c699aa9948f6a672536ba08e664471fb0d654.

refs #8016

Merge branch '8016-crunchrun-crunchstat'

closes #8016

closes #9498
Merge branch '9498-containers-in-project-tab'

9498: show top-level container requests in project#Pipelines_and_processes tab.

8016: Clarify comments/docs and cpuSample initialization.

8016: Rename Poll to PollPeriod.

8016: Fix race in test case.

Add libgnutls28-dev to arvados/jobs.

This is necessary to build pycurl, and with it the Python Arvados SDK,
and support arvados_sdk_version in Crunch.  I'm guessing we lost it
when we switched the base from arvados/debian:7 to debian:jessie.
No issue #.

Merge branch '9437-keep-index-ns'

refs #9437

See https://dev.arvados.org/issues/9437#note-3 and #note-4

9437: Clarify units for -blob-signature-ttl. Update keepstore -h message in install docs.

9437: Accept 1-second timestamps from old keepstore servers.

Running a new keep-balance/datamanager with old keepstore servers will
interpret timestamps correctly.

Running an old keep-balance/datamanager with new keepstore servers
will not perform any garbage collection: interpreting the new
nanosecond timestamps as 1-second timestamps will result in all blocks
appearing to come from the future, making them ineligible for
trash/delete.

9437: gofmt

9437: Report timestamps as nanoseconds since epoch in keepstore index.

Merge branch '4753-websocket-test-port'

refs #4753

4753: Select an available port for the passenger server when testing websockets.

This makes it possible to run API tests concurrently (in different
working dirs on the same host) without fighting over port 3002.

8016: Report container resource usage in "crunchstat" log.

8016: Fix some error checking in ThrottledLogger.

8016: Fix comment grammar and weird variable name.

8016: Fix timestamp format (add missing nanoseconds), and use it in tests.

8016: Fix up docs and trim API.

8016: Reduce logging noise by waiting for cgroup files to appear before polling.

8016: Split crunchstat into a module and a commmand line tool.

Update arvados-cwl-runner cwltool pin to get ruamel.yaml fix (c8f584840591f3a4a0fad3bce6b39f8866cd9dad) refs #9458

Merge branch '9513-keepproxy-content-length'

closes #9513

9513: Do not set response Content-Length to -1 when returning 411 Length Required.

Add tests for requests with bad/missing Content-Length headers.

Merge branch '9518-username-conflict'

closes #9518

9518: Fix username conflict resolution.

closes #9407
Merge branch '9407-container-log-viewer'

9407: container log view

Merge branch '9511-cwl-type-checking' closes #9511

9511: Bump cwltool dependency to get bugfix (81ff56f239de3ff0d17c8dec98d1a40f1e41cb7d) affecting bcbio run.

Merge branch '9442-cwl-runtime-outdir' closes #9442

9442: Incorporate check for correct $(runtime.outdir) into tests.

9442: Make cwl-runner crunch script backwards compatible (note-6)

9442: Fix runtime.outdir for containers.

9442: Override kwargs["outdir"] so that $(runtime.outdir) is set correctly.

Merge branch '9446-refactor-keep-parallel-write-strategy'

9446: PySDK Keep concurrent write refactoring. Simplified thread management using a thread pool and a queue.
ThreadLimiter not needed anymore, so related tests were rewritten for the new code.
Closes #9446

Merge branch '9491-desired-replicas'

closes #9491

9491: Fix keepproxy support for X-Keep-Desired-Replicas header.

9491: Put*() return number of replicas actually stored, even if we ended up storing more than requested.

Merge branch '8470-resolve-container-req'

closes #8470

8470: Resolve docker image hash or tag to collection PDH when creating a Container.

8470: Clean up ContainerRequest tests.

8470: Resolve mounts to PDH.

8470: Resolve runtime_constraints ranges to numbers when satisfying a Container Request.

9446: Applying Peter's review suggestions. refs #9446

PySDK put() refactoring ready, all local tests worked OK

Some tests done on new code

9488: Add log message to notify users on sucessful websocket reconnect. refs #9488

Merge branch '9486-filter-nodes'

refs #9486

One last method before calling it a day

Ready to start testing code

9486: Use API to filter nodes by last_ping_at.

Update run-build-packages versions for schema_salad and cwltool, refs #8442

Merge branch 'origin-8442-cwl-crunch2' closes #8442

Merge branch 'master' into origin-8442-cwl-crunch2

8442: Code cleanup.  Remove dead code.  Update comments.

PySDK: Fix spelling of X-Keep-Desired-Replicas header.

This matches what Keep services expect, and other clients use.
No issue #.

8442: Fix error reporting on missing Docker image

Increase timeout on failing websocket test.  refs #9427

Merge branch '9427-threaded-websockets' closes #9427

8442: Make work_api parameter to ArvCwlRunner constructor optional.

8442: cwl-runner crunch script must provide work_api parameter to ArvCwlRunner
constructor.

8442: Bugfixes from end-to-end testing.

9427: Back out redundant connection pool configuration option and add comment
to database.yml.example about connection pool and websockets.

8442: Fix tests.  Update comments.  Rename jobs -> processes since it doesn't hold just "jobs" any more.

8442: Rename --crunch1 and --crunch2 options to --api=jobs and --api=containers

Merge branch '9180-avoid-overreplication-keepclient'

Closes #9180

Merge branch '9353-retry-http-error' closes #9353

9427: Add limits for connections, subscriptions, queued notifications, and
database connections to configuration.  Check notify queue size on push instead
of on pop and close connection immediately.

Add missing arvbox package "virtualenv" refs #9408

9427: Add connection limit.

Bugfix "arv-ws --id" option, refs #9388.

9427: Websockets now uses a thread per connection for database query and
sending outgoing messages.  This minimizes interference by slow clients or
clients that are "replaying the world" with a last_log_id far in the past.

closes #9372
Merge branch '9372-container-display'

Merge branch 'master' into 9372-container-display

9372: improve container_work_unit -> uri method to check if @proxied will respond_to table_name instead of using a rescue.

9180: Changed some of the logic on ThreadLimiter and made unit tests to validate the new behaviour
refs #9180

9372: The children of a Container will be ContainerRequests to which this is the requesting_container_uuid.

9372: variable names and comments.

9408: Restore build-essential and ruby-dev to arvbox.

These were previously being pulled in as Recommends, and they're
necessary to build gems for the demo image.
Refs #9408.

Merge branch '9417-asserttrue-for-value-comparison'

Closes #9417

9417: Replaced assertTrue() with assertEqual() on RetryNeedsMultipleServices's tests

First try, don't think it'll work

8442: Generatefiles encode utf-8

8442: Submit CommandLineTool containers directly without an intermediate
workflow runner.  Handle unsupported feature gracefully.

8442: Tweak internal handling of keep: paths, examine exit codes to determine
success/fail.

8442: more import fixups, import workflow file correctly.

8442: import fixups

8442: Debugging container --submit with crunch2

8442: Adding --submit support with --crunch2.  General refactoring into more/smaller files.

8442: Fix message

8442: raise UnsupportedRequirement for unsupported features in the conformance
tests.  Bump cwltool dependency.