Merge branch '9923-cwl-collection-dir' refs #9923

Merge branch '9875-fix-params-digest'

refs #9875

9875: Fix script_parameters_digest to sort hashes hiding inside arrays, too.

9923: Fix instanceof() to check correct base class

Merge branch '9888-move-job-reuse-code'

refs #9888

9888: Move record-filtering code into model classes.

Add cachecontrol and cwltest to PYTHON_BACKPORTS for latest cwltool refs #9850

Add max_request_log_params_size config (was hardcoded to 1000).

No issue #

Add README describing scripts in build/ no issue #

Fix tests refs #9850

Merge branch '9850-cwl-js' closes #9850

9850: Update cwltool to get javascript evaluation performance improvements.

Make flaky test fail less often.

No issue #

closes #9893
Merge branch '9893-java-sdk'

9893: update java sdk test files to match the pom.xml updates.

closes #9824
Merge branch '9824-workflows-in-project-tab'

closes #9767
Merge branch '9767-workflow-link-in-container-request'

Merge branch '9687-container-request-display'
Closes #9687

Merge branch 'master' into 9687-container-request-display

Merge branch '8232-docker-remove-obsolete' closes #8232

Merge branch '9783-cwl-error-invalid-dir' closes #9783

9700: Remove "trashLifetime != 0 is not supported in S3" check, now that it is supported.

refs #9700

9767: add a link to workflow in the container_request#show page.

9687: Added exit_code method to work_unit interface declarations. Simplified state_label method using the new exit_code accessor.

9687: Added method to access container's exit_code. Updated test to explicitly test for exit_code in addition to state_label.

9824: include workflows in project#pipeline_templates tab.

9687: Updated state_label method changes to something more simple and compact. Added exit_code:0 to complete container fixtures. Added explicit test case to check for a not Failed container.

Merge branch 'origin-9043-test-edit-container-request' closes #9043

9043: Remove redundant ex_opt_string and unsupported ex_opt_file_array from test fixture.

9043: Add check that Run button is disabled before filling in final require
value and checking that run button is enabled.

Merge branch '9854-container-validations-produce-bad-errors'

Closes #9854

Merge branch '9463-pysdk-amended'

Refs #9463

9463: Updated CWL tests to match Collection new behaviour.

9854: Added ArvadosModel::UnresolvableContainerError exception to return a 422 http status. Modified container resolving methods to raise this new exception instead of RecordNotFound. Updated related tests.

9043: minor test tweaks

9043: added tests for various input types

Merge branch '9709-restore-manifest-logging'

closes #9709

9709: Tweak config comment.

9709: Test empty unlogged_attributes config.

Merge branch '9705-crunch2-install-guide-wip'

closes #9705
closes #9706

9709: Restore logging of manifest_text by default, add config option to omit it.

9043: Handle errors on when trying to commit container.

9043: Use match_uuid_with_optional_filepath instead of hardcoded uuid regex.

9043: Remove non-existent "Graph" tab.  Fix "false" selection dropdown.  Use
helper function instead of duplicating regex.

9043: Initial commit testing for container request editing

9043: Complete support for editing basic parameter types.

Supported parameter types: boolean, string, int, long, float, double, enum,
File, Directory.  May be specified required or optional.

Not supported: arrays, unions (other than with "null"), records.

9043: Fixup incoming values from x-editable to have correct types.  Work in progress.

9043: Initial work on rendering input forms for CWL workflows.  Works for
simple parameters.  Successfully writes back to container request object.

9043: Expand "uncommitted" test fixture to include more optional parameter types.  Add uncommitted_ready_to_run to test the "Run" button.

Test fixture for uncommitted container request.

refs #9767
Merge branch '9767-workflows-in-chooser'

9767: include workflows in the template chooser.

9463: Several changes to the PySDK, as described below:

* Added ability to define the number of copies on the BlockManager.
* Added optional parameter to RichCollectionBase's method _get_manifest_text so that it returns the manifest text including only those committed blocks (avoiding flushing the others).
* Added ability to set up the replication desired level on Collection class.
* Fixed Collection's _my_api method, avoiding to ovewrite self.keep_client if already assigned.
* On Collection class, instantiate a BlockManager with the "copies" parameter taken from the collection or from the discovery document.
* Modified tests to support the new replication desired param at Collection class.
* Added tests to check if the replication desired parameter is loaded only when necessary.
* Added test to check the new behaviour of getting the manifest text with only committed blocks.

9687: For a ContainerRequest being committed, if its container has the state "Complete" but exit_code not zero, return "Failed" as a state_label so that Workbench won't render its status as "Complete". Added fixture & test to check for this correction.

Merge branch '9804-drop-activity-pane'

9804: Deleted activity pane from Workbench's collection view, a couple of queries that became unused on collection controller and updated the related tests. Closes #9804.

9804: Tweaked the collection#show's pane widths. Fixed some integration_performance tests that were failing after the activity pane removal and removed an unused query at collection controller.

Merge branch '9706-package-systemd-files'

refs #9706
refs #9745

9706: Use ${} interpolation syntax consistently.

9706: 9745: Fix config struct to match example.

9706: Notify systemd when crunch-dispatch-slurm is ready.

9706: Add systemd unit file for crunch-dispatch-slurm.

9706: Stop systemd services when their packages are uninstalled.

9706: Go service postinst improvements.

* Use /bin/sh, per Debian policy.
* Prefer basename for readability.
* Check for systemd init with [ -e /run/systemd/system ].
* Make configuration changes based on checking the unit file state.

9706: Add postinst script to Go packages that have systemd unit files, so (on Debian) the service starts up without manual intervention.

9706: If "foo.service" exists in the source dir for a Go program, package it so it installs to /lib/systemd/system/.

Merge branch '9827-no-docker-caching' closes #9827

Merge branch '9773-faster-find-or-create'

refs #9773

9773: If previous jobs disagree about outputs, but a new job is
already queued/running, reuse the new job (as we did before 9773).

9773: Exclude script_parameters_digest from searchable columns -- it is not even visible to clients.

9773: Use script_parameters_digest in reusable job query.

9773: Add script_parameters_digest column to support faster job reuse.

9773: Fix up find-or-create-job code.

* Reduce pyramid of conditions

* Ask the database to filter script_parameters, instead of doing that in Ruby

* Ditto job state

* Check "output is readable?" only once, not once per candidate job

* If two matching jobs have different outputs, avoid reusing either of them,
  even if one of the outputs is not readable by current_user.

Merge branch '9818-logstash'

refs #9818
refs #9709

9818: Log params when small, first 1K of json-encoded params when big.

9818: Use lograge/logstash for Workbench request logs.

9818: Use lograge to log API requests in logstash format.

Example log line:

{"method":"GET","path":"/arvados/v1/keep_services/accessible","format":"html","controller":"arvados/v1/keep_services","action":"accessible","status":200,"duration":11.07,"view":0.36,"db":2.63,"@timestamp":"2016-08-18T19:04:17Z","@version":"1","message":"[200] GET /arvados/v1/keep_services/accessible (arvados/v1/keep_services#accessible)"}

9804: Removed the "Activity" pane from Collection View @ Workbench. Also removed a related query on the controller's show method, and a test.

Merge branch '9826-config-symbols'

closes #9826

9826: Deserialize symbols when loading server config YAML.

Add --compute-checksum to sdk/cwl/test_with_arvbox.sh refs #9552

9827: Use "arvbox rebuild" to ensure up to date arvados/arvbox-demo image.

8232: Remove outdated/misleading Docker install

Merge branch '9820-cwl-poll-jobs' closes #9820

9820: Directly poll job or container records that we are interested in. Benefit: puts less load on database than log table polling, and doesn't miss events.

Merge branch '9684-workflows'

refs #9684

9684: Style nitpicks.

9684: update arvados_model -> recursive_stringify to convert ":foo" to "foo"

Merge branch '9333-api-server-invalid-sql'

9333: Fixes to solve workbench integration tests failures. Refs #9333

Merge branch 'master' into 9333-api-server-invalid-sql

9684: update arvados_model -> recursive_stringify to convert ":foo" to "foo"

9333: Adding collection model specific sttributes to be ignored on the validation mechanism to fix workbench integration test failures

9684: Add safe_yaml initializer

closes #9684
Merge branch '9684-workflows'

Merge branch '9333-api-server-invalid-sql'

9333: Selected attributes list validation on the API Server, avoiding invalid SQL queries to the database. Closes #9333

9333: Removed superfluous quote marks on exception message

9333: Treating the "attribute is not a string" error case the same as the other invalid attributes. Moved the checks to ArvadosModel. Updated tests.

9684: workflow yaml error logging

9783: Report useful error if subdirectory of a collection doesn't exist or isn't a
directory.

9678: use safe_yaml and other updates.

closes #9709
Merge branch '9709-dont-log-manifest-texts'