gofmt.

No issue #

Fix race in crunchstat.

To fulfill the "nothing more will be logged after Stop() returns"
guarantee, Stop() needs to wait for run() to finish.

Should fix https://ci.curoverse.com/job/run-tests-remainder/38/consoleText

No issue #

Simplify write flusher using a time.Ticker.

No issue #

Fix potential race in ThrottledLogger flusher.

No issue #

Merge branch '9552-compute-checksum-final-output' refs #9552

Merge branch '9406-cgroup-parent'

closes #9406

9406: Explain why there are two separate CgroupParent fields.

9552: If compute_checksum is true, check if checksum needs to be computed on final output, and add it if missing.

Merge branch '9595-mount-json'

closes #9595

9595: Fix hardcoded temp dir in test. Add checks for CleanupDirs().

9595: Support "json" mount type.

Merge branch '9677-update-install-docs'

closes #9677

Document how to download and tag the arvados/jobs Docker image.

refs #9677

Merge branch '9674-cwl-initialworkdir' closes #9674

Merge branch '9617-reject-container-reqs-without-vcpus'

9617, 9618: Added runtime constraints to fixtures.

refs #9617, #9618

9617, 9618: Added runtime constraints to container requests fixtures. Wrote a new test to load a CR from a fixture and update some attribute to test for the new validations

Merge branch '9617-reject-container-reqs-without-vcpus'

9617, 9618: Require positive integers on both 'vcpus' and 'ram' runtime constraints when a container request is committed. Closes #9617, #9618

9617: Corrected variable & test naming

9674: InitialWorkDirPathMapper bug fix to set correct source path for files in
virtual working directory.

9617: Reorganized code reusing the invalid_constraint list on both create & update tests. Separated the successful test case to be on its own.

9406: Add -cgroup-parent-subsystem argument.

This accommodates setups where the scheduling system (e.g., SLURM)
uses cgroups to impose resource limits on crunch-run itself, and those
limits are meant to include resources used by the container itself.

Normally, when docker creates a container, it creates new cgroups
inside the "docker" cgroup, which circumvents any resource limits set
on crunch-run's own cgroup.

If a subsystem is specified (e.g., -cgroup-parent-subsystem=memory),
crunch-run will look in /proc/self/cgroup to find the current cgroup
for the given subsystem, and instruct docker to use that cgroup as the
parent of the new container's cgroup instead.

9617: Added one more invalid constraint case to the tests, also check for container_uuid on successful test

9406: Support passing additional arguments from crunch-dispatch-slurm to crunch-run.

9617: Corrected style following suggestions and also compacted the code to avoid repetition.

9617: Added validations on updates & tests on sucessful cases.

9617, 9618: Added validations and wrote the corresponding test. Also, corrected some other tests to conform this new requirement.

refs #9552
Merge branch '9552-compute-checksum-flag'

9552: add compute-checksum flag to arvados-cwl-runner

We have a new build job at ci.curoverse.com. Update the build status
icon in README.md accordingly.

No issue #

closes #9581
Merge branch '9581-slurm-dispatcher-config'

9581: add json config file handling to slurm dispatcher.

Merge branch '8555-s3-trash'

closes #8555

8555: Fail Go tests if not gofmted.

8555: golint

8555: Fix up comments.

8555: gofmt

8555: Test Get() after successful Untrash. Test Put+Mtime in all scenarios.

8555: Untrash to repair inconsistent state (trash/X without recentX).

8555: Log statistics in EmptyTrash.

8555: Improve variable names and comments.

8555: Reformat test cases.

8555: De-obfuscate test case.

8555: Fix EmptyTrash so it can clean up old races.

8555: golint

8555: gofmt

8555: Test various backend states. Update recent/X timestamp during Untrash.

8555: Move checkRaceWindow out to a func, tweak comments

8555: Add log messages for time-parsing errors.

8555: Implement trash with race-recovery for S3 volumes.

See https://dev.arvados.org/projects/arvados/wiki/S3_bucket_volume_implementation

closes #8568
Merge branch '8568-docker-version-support'

Merge branch 'master' into 8568-docker-version-support

closes #9552
Merge branch '9552-compute-checksum-flag'

Merge branch 'master' into 9552-compute-checksum-flag

Conflicts:
sdk/cwl/setup.py

9659: Bump CWL SDK's versioned dependency on PySDK.

The CWL SDK depends on the change made to arv-run in
27816b602e9da83a2565e6fe8f87f250555b1ba5.  Update the version
dependency in setup.py to reflect this.  Refs #9570, #9659.

8568: Enhance image_hash parsing when using Docker 1.10+

9552: update cwltool version, which offer compute_checksum flag.

Merge branch '9551-python-keep-services-env'

9551: Python SDK support for ARVADOS_KEEP_SERVICES environment variable. Closes #9551

9551: Replaced ARVADOS_KEEP_PROXY with ARVADOS_KEEP_SERVICES new var on tests. Added proxy URI validation test.

9551: Proxy URLs validation. Iteration optimization builind _keep_services list

Merge branch '9550-keep-services-env'

closes #9550

9550: Ignore extra spaces in ARVADOS_KEEP_SERVICES, and ensure each entry is an absolute URI.

9550: Update comments.

9550: Add service discovery override field to new SDK.

9550: Allow overriding keep services discovery with ARVADOS_KEEP_SERVICES env var.

9551: Change proxy parameter priority over environment variables. Updated docstring to mention ARVADOS_KEEP_SERVICES.

9551: Added support for env var ARVADOS_KEEP_SERVICES as a special case of a proxy.

Merge branch '9613-test-profile-save'

closes #9613

9613: Touch up "find required field" loop.

9613: Ensure submitted values are saved, and displayed on the edit form after it reloads.

9613: Dry up user profile tests.

Merge branch '9639-split-workbench-tests'

refs #9639

9639: Make it possible to run unit, functional and integration tests for
Workbench separately.

refs #9639

9639: Relax unnecessarily strict time limit.

refs #9639

9639: Delete all cached discovery docs, but do not delete the cache directory.

refs #9639

9639: Avoid sharing rvm gemsets between concurrent builds.

refs #9639

closes #9319
Merge branch '9319-all-processes-index'

9319: /all_processes index page.

9624: Fix format string.

closes #9624

Merge branch '9613-user-profile-string-keys'

refs #9613

9262: Stop setting sbatch --priority in crunch-dispatch-slurm.

There are a few reasons we want to back this out:

* `--priority` is a relatively new feature of SLURM, added in 14.03,
  and it's not clear how many users are running that.
* Setting `--priority` requires extra privileges, per the sbatch man
  page, and it's not clear crunch-dispatch-slurm should run with
  those.
* There are multiple ways to set the "priority" of a SLURM job.
  There's also a niceness value.  Which is correct to use is probably
  ultimately going to depend on site rules or conventions.  We need to
  get more feedback on what people are doing before we implement
  something.  We might need configurations options along the lines of
  "translate container priority into this option with this scaling
  factor," or something like that.

Per discussion with Tom Clegg.  Closes #9626.

Merge branch '9438-http-default-timeout'

9438: Added a new var DefaultSecureClient and assigned a 5 minute timeout to both InsecureHTTPClient and DefaultSecureClient.

refs #9438

9438: Eliminated redundant casting

9613: Stop prepending ":" to profile keys.

Merge branch '9614-cwl-no-websockets'

closes #9614

9614: Don't use websockets for event notification until it is more reliable.

Pin the html5lib package we build for centos6 and centos7 to version
0.9999999, because newer versions have a dependency on a
python-setuptools 0.18.5 which we don't have in the build containers
(yet).

refs #9459

Merge branch '9459-arvbox-demo-version-arg-wip'

Refs #9459.  Closes #9531.

9459: arvbox-demo accepts version arguments for Git checkouts.

9438: Added a new var DefaultSecureClient and assigned a 5 minute timeout to both InsecureHTTPClient and DefaultSecureClient

Bump version of setuptools used by run_tests.sh for cwl-runner dependency refs #9570

Merge branch '9369-arv-cwl-docs' closes #9369

9369: Copyedit CLI SDK install guide.

9369: Remove cwl install from Python SDK page.  Remove "sudo -i" from
pip/python install instructions.  Fixup use of ~$ prompt in example
instructions.

Merge branch 'master' into 9369-arv-cwl-docs

Merge branch '9570-cwl-runner-fixes' closes #9570 (again)

9369: Copyedits throughout the CWL documentation.

9369: Add note about Javascript eval timeout.

9570: Raise exception on workflow failure.

9369: bwa-mem-input-local hashbang uses cwltool.

9570: Use special path mapper for staging files to output dir.