Merge branch '8232-docker-remove-obsolete' closes #8232

Merge branch '9783-cwl-error-invalid-dir' closes #9783

9700: Remove "trashLifetime != 0 is not supported in S3" check, now that it is supported.

refs #9700

Merge branch 'origin-9043-test-edit-container-request' closes #9043

9043: Remove redundant ex_opt_string and unsupported ex_opt_file_array from test fixture.

9043: Add check that Run button is disabled before filling in final require
value and checking that run button is enabled.

Merge branch '9854-container-validations-produce-bad-errors'

Closes #9854

Merge branch '9463-pysdk-amended'

Refs #9463

9463: Updated CWL tests to match Collection new behaviour.

9854: Added ArvadosModel::UnresolvableContainerError exception to return a 422 http status. Modified container resolving methods to raise this new exception instead of RecordNotFound. Updated related tests.

9043: minor test tweaks

9043: added tests for various input types

Merge branch '9709-restore-manifest-logging'

closes #9709

9709: Tweak config comment.

9709: Test empty unlogged_attributes config.

Merge branch '9705-crunch2-install-guide-wip'

closes #9705
closes #9706

9709: Restore logging of manifest_text by default, add config option to omit it.

9043: Handle errors on when trying to commit container.

9043: Use match_uuid_with_optional_filepath instead of hardcoded uuid regex.

9043: Remove non-existent "Graph" tab.  Fix "false" selection dropdown.  Use
helper function instead of duplicating regex.

9043: Initial commit testing for container request editing

9043: Complete support for editing basic parameter types.

Supported parameter types: boolean, string, int, long, float, double, enum,
File, Directory.  May be specified required or optional.

Not supported: arrays, unions (other than with "null"), records.

9043: Fixup incoming values from x-editable to have correct types.  Work in progress.

9043: Initial work on rendering input forms for CWL workflows.  Works for
simple parameters.  Successfully writes back to container request object.

9043: Expand "uncommitted" test fixture to include more optional parameter types.  Add uncommitted_ready_to_run to test the "Run" button.

Test fixture for uncommitted container request.

refs #9767
Merge branch '9767-workflows-in-chooser'

9767: include workflows in the template chooser.

9463: Several changes to the PySDK, as described below:

* Added ability to define the number of copies on the BlockManager.
* Added optional parameter to RichCollectionBase's method _get_manifest_text so that it returns the manifest text including only those committed blocks (avoiding flushing the others).
* Added ability to set up the replication desired level on Collection class.
* Fixed Collection's _my_api method, avoiding to ovewrite self.keep_client if already assigned.
* On Collection class, instantiate a BlockManager with the "copies" parameter taken from the collection or from the discovery document.
* Modified tests to support the new replication desired param at Collection class.
* Added tests to check if the replication desired parameter is loaded only when necessary.
* Added test to check the new behaviour of getting the manifest text with only committed blocks.

Merge branch '9804-drop-activity-pane'

9804: Deleted activity pane from Workbench's collection view, a couple of queries that became unused on collection controller and updated the related tests. Closes #9804.

9804: Tweaked the collection#show's pane widths. Fixed some integration_performance tests that were failing after the activity pane removal and removed an unused query at collection controller.

Merge branch '9706-package-systemd-files'

refs #9706
refs #9745

9706: Use ${} interpolation syntax consistently.

9706: 9745: Fix config struct to match example.

9706: Notify systemd when crunch-dispatch-slurm is ready.

9706: Add systemd unit file for crunch-dispatch-slurm.

9706: Stop systemd services when their packages are uninstalled.

9706: Go service postinst improvements.

* Use /bin/sh, per Debian policy.
* Prefer basename for readability.
* Check for systemd init with [ -e /run/systemd/system ].
* Make configuration changes based on checking the unit file state.

9706: Add postinst script to Go packages that have systemd unit files, so (on Debian) the service starts up without manual intervention.

9706: If "foo.service" exists in the source dir for a Go program, package it so it installs to /lib/systemd/system/.

Merge branch '9827-no-docker-caching' closes #9827

Merge branch '9773-faster-find-or-create'

refs #9773

9773: If previous jobs disagree about outputs, but a new job is
already queued/running, reuse the new job (as we did before 9773).

9773: Exclude script_parameters_digest from searchable columns -- it is not even visible to clients.

9773: Use script_parameters_digest in reusable job query.

9773: Add script_parameters_digest column to support faster job reuse.

9773: Fix up find-or-create-job code.

* Reduce pyramid of conditions

* Ask the database to filter script_parameters, instead of doing that in Ruby

* Ditto job state

* Check "output is readable?" only once, not once per candidate job

* If two matching jobs have different outputs, avoid reusing either of them,
  even if one of the outputs is not readable by current_user.

Merge branch '9818-logstash'

refs #9818
refs #9709

9818: Log params when small, first 1K of json-encoded params when big.

9818: Use lograge/logstash for Workbench request logs.

9818: Use lograge to log API requests in logstash format.

Example log line:

{"method":"GET","path":"/arvados/v1/keep_services/accessible","format":"html","controller":"arvados/v1/keep_services","action":"accessible","status":200,"duration":11.07,"view":0.36,"db":2.63,"@timestamp":"2016-08-18T19:04:17Z","@version":"1","message":"[200] GET /arvados/v1/keep_services/accessible (arvados/v1/keep_services#accessible)"}

9804: Removed the "Activity" pane from Collection View @ Workbench. Also removed a related query on the controller's show method, and a test.

Merge branch '9826-config-symbols'

closes #9826

9826: Deserialize symbols when loading server config YAML.

Add --compute-checksum to sdk/cwl/test_with_arvbox.sh refs #9552

9827: Use "arvbox rebuild" to ensure up to date arvados/arvbox-demo image.

8232: Remove outdated/misleading Docker install

Merge branch '9820-cwl-poll-jobs' closes #9820

9820: Directly poll job or container records that we are interested in. Benefit: puts less load on database than log table polling, and doesn't miss events.

Merge branch '9684-workflows'

refs #9684

9684: Style nitpicks.

9684: update arvados_model -> recursive_stringify to convert ":foo" to "foo"

Merge branch '9333-api-server-invalid-sql'

9333: Fixes to solve workbench integration tests failures. Refs #9333

Merge branch 'master' into 9333-api-server-invalid-sql

9684: update arvados_model -> recursive_stringify to convert ":foo" to "foo"

9333: Adding collection model specific sttributes to be ignored on the validation mechanism to fix workbench integration test failures

9684: Add safe_yaml initializer

closes #9684
Merge branch '9684-workflows'

Merge branch '9333-api-server-invalid-sql'

9333: Selected attributes list validation on the API Server, avoiding invalid SQL queries to the database. Closes #9333

9333: Removed superfluous quote marks on exception message

9333: Treating the "attribute is not a string" error case the same as the other invalid attributes. Moved the checks to ArvadosModel. Updated tests.

9684: workflow yaml error logging

9783: Report useful error if subdirectory of a collection doesn't exist or isn't a
directory.

9678: use safe_yaml and other updates.

closes #9709
Merge branch '9709-dont-log-manifest-texts'

9333: Attribute validation on "select" to avoid invalid SQL statements

Fix failing tests. refs #9776

Fix schema salad package build version.  no issue #

Merge branch '9776-cwl-HOME-TMPDIR' closes #9776

9776: Ensure that $HOME and $TMPDIR are set correctly.

Merge branch '9615-cwl-writable-unsupported' refs #9615

9615: Add check_writable to check for "writable" field and raise UnsupportedRequirement.

Merge branch '9751-cwl-keep-dir' closes #9751

9552: import compute_checksums from cwltool.

9751: Fix handling local Directories

9751: Bump cwltool dependency.

9751: Fix unit tests.  Rename dir6.cwl to keep-dir-test-input.cwl

9751: Override realpath in CollectionFsAccess

9751: Fix direct to keep directory references.
Add arvados-specific integration test for arvados-cwl-runner.

9751: Provide make_fs_access=CollectionFsAccess and bump cwltool pin.

closes #9678
Merge branch '9678-container-request-log-tab'

9709: do not include manifest_text in collection logs.

closes #9658
Merge branch '9658-cwl-runner-container'

9678: enhance test to verify that the combined logs are displayed.

9678: enhance container log tab display to consider the "combined" object logs.

9658: when arvados-cwl-runner is invoked with --api containers, display the container_request uuid to console.

closes #9745
Merge branch '9745-cds-api-config'

9705: Add docker-cleaner unit file to Install Guide.

9705: Add crunch-dispatch-slurm to the Install Guide.

9684: add workflow resource to api server