Merge branch 'master' into 9333-api-server-invalid-sql

9333: Adding collection model specific sttributes to be ignored on the validation mechanism to fix workbench integration test failures

closes #9684
Merge branch '9684-workflows'

Merge branch '9333-api-server-invalid-sql'

9333: Selected attributes list validation on the API Server, avoiding invalid SQL queries to the database. Closes #9333

9333: Removed superfluous quote marks on exception message

9333: Treating the "attribute is not a string" error case the same as the other invalid attributes. Moved the checks to ArvadosModel. Updated tests.

9684: workflow yaml error logging

9678: use safe_yaml and other updates.

closes #9709
Merge branch '9709-dont-log-manifest-texts'

9333: Attribute validation on "select" to avoid invalid SQL statements

Fix failing tests. refs #9776

Fix schema salad package build version.  no issue #

Merge branch '9776-cwl-HOME-TMPDIR' closes #9776

9776: Ensure that $HOME and $TMPDIR are set correctly.

Merge branch '9615-cwl-writable-unsupported' refs #9615

9615: Add check_writable to check for "writable" field and raise UnsupportedRequirement.

Merge branch '9751-cwl-keep-dir' closes #9751

9552: import compute_checksums from cwltool.

9751: Fix handling local Directories

9751: Bump cwltool dependency.

9751: Fix unit tests.  Rename dir6.cwl to keep-dir-test-input.cwl

9751: Override realpath in CollectionFsAccess

9751: Fix direct to keep directory references.
Add arvados-specific integration test for arvados-cwl-runner.

9751: Provide make_fs_access=CollectionFsAccess and bump cwltool pin.

closes #9678
Merge branch '9678-container-request-log-tab'

9709: do not include manifest_text in collection logs.

closes #9658
Merge branch '9658-cwl-runner-container'

9678: enhance test to verify that the combined logs are displayed.

9678: enhance container log tab display to consider the "combined" object logs.

9658: when arvados-cwl-runner is invoked with --api containers, display the container_request uuid to console.

closes #9745
Merge branch '9745-cds-api-config'

9684: add workflow resource to api server

9745: Update example config.

9745: Load API host and token from crunch-dispatch-slurm config file.

9706: Add example config file.

No issue #

gofmt.

No issue #

Fix race in crunchstat.

To fulfill the "nothing more will be logged after Stop() returns"
guarantee, Stop() needs to wait for run() to finish.

Should fix https://ci.curoverse.com/job/run-tests-remainder/38/consoleText

No issue #

Simplify write flusher using a time.Ticker.

No issue #

Fix potential race in ThrottledLogger flusher.

No issue #

Merge branch '9552-compute-checksum-final-output' refs #9552

Merge branch '9406-cgroup-parent'

closes #9406

9406: Explain why there are two separate CgroupParent fields.

9552: If compute_checksum is true, check if checksum needs to be computed on final output, and add it if missing.

Merge branch '9595-mount-json'

closes #9595

9595: Fix hardcoded temp dir in test. Add checks for CleanupDirs().

9595: Support "json" mount type.

Merge branch '9677-update-install-docs'

closes #9677

Document how to download and tag the arvados/jobs Docker image.

refs #9677

Merge branch '9674-cwl-initialworkdir' closes #9674

Merge branch '9617-reject-container-reqs-without-vcpus'

9617, 9618: Added runtime constraints to fixtures.

refs #9617, #9618

9617, 9618: Added runtime constraints to container requests fixtures. Wrote a new test to load a CR from a fixture and update some attribute to test for the new validations

Merge branch '9617-reject-container-reqs-without-vcpus'

9617, 9618: Require positive integers on both 'vcpus' and 'ram' runtime constraints when a container request is committed. Closes #9617, #9618

9617: Corrected variable & test naming

9674: InitialWorkDirPathMapper bug fix to set correct source path for files in
virtual working directory.

9617: Reorganized code reusing the invalid_constraint list on both create & update tests. Separated the successful test case to be on its own.

9406: Add -cgroup-parent-subsystem argument.

This accommodates setups where the scheduling system (e.g., SLURM)
uses cgroups to impose resource limits on crunch-run itself, and those
limits are meant to include resources used by the container itself.

Normally, when docker creates a container, it creates new cgroups
inside the "docker" cgroup, which circumvents any resource limits set
on crunch-run's own cgroup.

If a subsystem is specified (e.g., -cgroup-parent-subsystem=memory),
crunch-run will look in /proc/self/cgroup to find the current cgroup
for the given subsystem, and instruct docker to use that cgroup as the
parent of the new container's cgroup instead.

9617: Added one more invalid constraint case to the tests, also check for container_uuid on successful test

9406: Support passing additional arguments from crunch-dispatch-slurm to crunch-run.

9617: Corrected style following suggestions and also compacted the code to avoid repetition.

9617: Added validations on updates & tests on sucessful cases.

9617, 9618: Added validations and wrote the corresponding test. Also, corrected some other tests to conform this new requirement.

refs #9552
Merge branch '9552-compute-checksum-flag'

9552: add compute-checksum flag to arvados-cwl-runner

We have a new build job at ci.curoverse.com. Update the build status
icon in README.md accordingly.

No issue #

closes #9581
Merge branch '9581-slurm-dispatcher-config'

9581: add json config file handling to slurm dispatcher.

Merge branch '8555-s3-trash'

closes #8555

8555: Fail Go tests if not gofmted.

8555: golint

8555: Fix up comments.

8555: gofmt

8555: Test Get() after successful Untrash. Test Put+Mtime in all scenarios.

8555: Untrash to repair inconsistent state (trash/X without recentX).

8555: Log statistics in EmptyTrash.

8555: Improve variable names and comments.

8555: Reformat test cases.

8555: De-obfuscate test case.

8555: Fix EmptyTrash so it can clean up old races.

8555: golint

8555: gofmt

8555: Test various backend states. Update recent/X timestamp during Untrash.

8555: Move checkRaceWindow out to a func, tweak comments

8555: Add log messages for time-parsing errors.

8555: Implement trash with race-recovery for S3 volumes.

See https://dev.arvados.org/projects/arvados/wiki/S3_bucket_volume_implementation

closes #8568
Merge branch '8568-docker-version-support'

Merge branch 'master' into 8568-docker-version-support

closes #9552
Merge branch '9552-compute-checksum-flag'

Merge branch 'master' into 9552-compute-checksum-flag

Conflicts:
sdk/cwl/setup.py

9659: Bump CWL SDK's versioned dependency on PySDK.

The CWL SDK depends on the change made to arv-run in
27816b602e9da83a2565e6fe8f87f250555b1ba5.  Update the version
dependency in setup.py to reflect this.  Refs #9570, #9659.

8568: Enhance image_hash parsing when using Docker 1.10+

9552: update cwltool version, which offer compute_checksum flag.

Merge branch '9551-python-keep-services-env'

9551: Python SDK support for ARVADOS_KEEP_SERVICES environment variable. Closes #9551

9551: Replaced ARVADOS_KEEP_PROXY with ARVADOS_KEEP_SERVICES new var on tests. Added proxy URI validation test.

9551: Proxy URLs validation. Iteration optimization builind _keep_services list

Merge branch '9550-keep-services-env'

closes #9550

9550: Ignore extra spaces in ARVADOS_KEEP_SERVICES, and ensure each entry is an absolute URI.

9550: Update comments.

9550: Add service discovery override field to new SDK.

9550: Allow overriding keep services discovery with ARVADOS_KEEP_SERVICES env var.

9551: Change proxy parameter priority over environment variables. Updated docstring to mention ARVADOS_KEEP_SERVICES.