Merge branch 'master' into 10519-cr-fiddlesticks

refs #10293
Merge branch '10293-cr-log-and-output-in-wb'

Merge branch '5737-fix-broken-test-with-231'
refs #5737

10293: update test assertion to expect output collection name, instead of pdh.

5737: Updated test so it pass on both 2.1 and 2.3 ruby versions.

Merge branch 'master' into 10293-cr-log-and-output-in-wb

Use regex to determine whether to print help text for arvbash.sh. refs #10655

Merge branch '10655-arvbash' closes #10655

Merge branch '10647-dev-jobs-image' closes #10647

Update arvbox to work with passenger 5.0, refs #5737

10519: Don't fiddlesticks on uncomitted container request page if workflow or
cwl.input.json are missing.

Fix bug done.done() not returning output value.  refs #10293

10293: update container_work_unit to look for output_uuid and log_uuid for a container_request, rather than using those from the associated container.

10655: Add arvbash to tools/

Merge branch '5737-ruby231'
refs #5737

5737: Merge branch 'master' into 5737-ruby231

Merge branch '10651-cwl-submit-runner-ram' refs #10651

Merge branch 'origin-10293-cwl-cr-output' closes #10293

10293: Update test_done to test more stuff and remove redundant test_done_use_existing_collection.

10651: Check --submit-runner-ram has a valid value.  Add tests.

10293: Fix error message when wrong --api provided.

10651: Add --submit-runner-ram to specify amount of RAM that should be
allocated for workflow runner job or container.

10293: Avoid noisy and unhelpful error when cwl.output.json is missing.

10293: Improve error messages for --api and unsupported InitialWorkDirRequirement.

10293: Don't try to json decode empty output file to reduce spurious errors.

10293: Override workflow runner done() to get container from container request.

10293: Bug fixes

* Now polling state on self.poll_api.container_requests() table
* Runner object puts "self" into processes table
* Don't report spurious ApiError when not running in container

10647: Get necessary version of cwltool from sdk/cwl/setup.py instead of
listing it in two places.

10647: Image tag is most recent git hash of python sdk or arvados-cwl-runner.

10647: Script + Dockerfile to build arvados/jobs image from local git checkout, for development.

5737: Merge branch 'master' into 5737-ruby231

closes #10518
Merge branch '10518-crunch2-only-wb'

Merge branch '10599-run-build-packages' closes #10599

10599: Add run-build-packages-one-target.sh --only-build, run-build-packages looks for $ONLY_BUILD in its environment.

10518: update API groups_controller.contents method to exclude classes with index disabled and update user guide to use "Run a process" instead of "Run a pipeline"

5737: Fixed unused variable declarations.

5737: Fixed several warning messages from running tests.

5737: Fixed a bug in container reuse test code.

Merge branch '10630-no-json-debug-dump' refs #10630

10630: Bump cwltool version to completely skip debug statements that make
expensive json.dumps() calls.

5737: Fixes to remove ruby warnings when running collection api integration tests

Merge branch '10586-writer-pool-deadlock' refs #10586

5737: Fixes to remove ruby warnings when running websocket integration tests.

10586: Add extra notify_all() as deadlock insurance.

10586: Fix misuse of "!=" to mean "is not".

10586: Do not pile on more errors in the service.finished() case.

5737: Explicitly passing PID file path to passenger so that the tests pass again.

5737: Removed minitest: it wasn't really running the tests.

Install upgraded setuptools in arvbox, refs #10583

Merge branch 'master' into 10293-cwl-cr-output

10586: Suppress stack traces for expected http errors.

10586: Fix deadlock in KeepWriterThreadPool.

Previously, an unhandled exception in KeepWriterThread (including
KeepService.put()) would terminate the thread without calling
queue.task_done(), which would cause queue.join() to deadlock.

Additionally, this commit moves all of the "wait until work is needed"
logic from KeepWriterThread into KeepWriterQueue.

Update arvados-cwl-runner with compatible dependencies, refs #10583

refs #10290
Merge branch '10290-scheduling-parameters-doc'

10290: scheduling_parameters documentation

Merge branch '10484-count-clients' closes #10484

Update cwltool version with compatible dependencies, refs #10583

10535: Fix race-to-deadlock bugs in tests.test_events: use threading.Event, not threading.Condition. refs #10535

refs #10524
Merge branch '10524-crunch2-workbench'

10524: update test assertions

Merge branch 'master' into 10293-cwl-cr-output

10293: done_outputs in a try/except block

Merge branch '10583-cwl-salad-ver' refs #10583

10583: Bump versions.

10293: invoke output_callback in a try/except block

Merge branch 'master' into 10293-cwl-cr-output

closes #10524
Merge branch '10524-crunch2-workbench'

Merge branch '9897-log-block-prefetch-worker-exceptions' closes #9897

Merge branch '10473-keepstore-logrus' closes #10473

5737: Merge branch 'master' into 5737-ruby231

Merge branch '10498-arvdocker-project-uuid' refs #10498

10498: Handle project_uuid of None in arv_docker_get_image.

10524: add additional test assertions to disabled_api_test

9897: Changes as per discussion in #9897.

Arvbox sets PATH, GEM_HOME and GEM_PATH in common.sh.  refs #10410

10484: Report current client count.

Merge branch '10473-keepstore-logrus' closes #10473

10473: Tune up text-format logging.

10473: Use fixed-point timestamps and more human-readable field ordering, hide "incoming request" if level<debug.

10473: Fixed-width timestamps.

10473: Log requests/responses in JSON format by default; add config option for text format.

10524: update tests to look for 'Run a process' button instead of 'Run a pipeline'

Merge branch '10484-keepstore-stats' refs #10484

10524: update workbench titles to use "processes" instead of "pipelines and processes" when pipelines are disabled.

10484: Remove unused volumeStats.

10484: Test s3 bucket stats.

10484: Tidy up stats-tracking code into a bucket proxy type.

10484: Track non-s3 errors by Go type.

10484: Track s3 errors by response code.

10484: Report volume IO stats for S3 volumes.

10484: Serve MemStats at /debug.json instead of /status.json.

Merge branch '10499-cwl-crunch2-docs' refs #10499

Merge branch '10470-slurm-error'

refs #10470

10470: Recognize more slurm error messages.

Example from slurm 14.03.9:

srun: error: _server_read: fd 12 got error or unexpected eof reading header
srun: error: step_launch_notify_io_failure: aborting, io error with slurmstepd on node 0
srun: Job step aborted: Waiting up to 2 seconds for job step to finish.

Merge branch '10556-get_anonymous_user_token.rb-multiple-similar-records'

refs #10556

Merge branch '10498-register-with-chosen-api' closes #10498

10498: Check error message in "incompatible APIs" test.

10498: Tweak var names and help messages.

Update documentation about get_anonymous_user_token.rb to prevent duplicates

refs #10556

Merge branch 'master' into 10293-cwl-cr-output

Conflicts:
sdk/cwl/arvados_cwl/__init__.py
sdk/cwl/arvados_cwl/arvcontainer.py