Merge branch '9709-restore-manifest-logging'

closes #9709

9709: Tweak config comment.

9709: Test empty unlogged_attributes config.

Merge branch '9705-crunch2-install-guide-wip'

closes #9705
closes #9706

9709: Restore logging of manifest_text by default, add config option to omit it.

refs #9767
Merge branch '9767-workflows-in-chooser'

9767: include workflows in the template chooser.

Merge branch '9804-drop-activity-pane'

9804: Deleted activity pane from Workbench's collection view, a couple of queries that became unused on collection controller and updated the related tests. Closes #9804.

9804: Tweaked the collection#show's pane widths. Fixed some integration_performance tests that were failing after the activity pane removal and removed an unused query at collection controller.

Merge branch '9706-package-systemd-files'

refs #9706
refs #9745

9706: Use ${} interpolation syntax consistently.

9706: 9745: Fix config struct to match example.

9706: Notify systemd when crunch-dispatch-slurm is ready.

9706: Add systemd unit file for crunch-dispatch-slurm.

9706: Stop systemd services when their packages are uninstalled.

9706: Go service postinst improvements.

* Use /bin/sh, per Debian policy.
* Prefer basename for readability.
* Check for systemd init with [ -e /run/systemd/system ].
* Make configuration changes based on checking the unit file state.

9706: Add postinst script to Go packages that have systemd unit files, so (on Debian) the service starts up without manual intervention.

9706: If "foo.service" exists in the source dir for a Go program, package it so it installs to /lib/systemd/system/.

Merge branch '9827-no-docker-caching' closes #9827

Merge branch '9773-faster-find-or-create'

refs #9773

9773: If previous jobs disagree about outputs, but a new job is
already queued/running, reuse the new job (as we did before 9773).

9773: Exclude script_parameters_digest from searchable columns -- it is not even visible to clients.

9773: Use script_parameters_digest in reusable job query.

9773: Add script_parameters_digest column to support faster job reuse.

9773: Fix up find-or-create-job code.

* Reduce pyramid of conditions

* Ask the database to filter script_parameters, instead of doing that in Ruby

* Ditto job state

* Check "output is readable?" only once, not once per candidate job

* If two matching jobs have different outputs, avoid reusing either of them,
  even if one of the outputs is not readable by current_user.

Merge branch '9818-logstash'

refs #9818
refs #9709

9818: Log params when small, first 1K of json-encoded params when big.

9818: Use lograge/logstash for Workbench request logs.

9818: Use lograge to log API requests in logstash format.

Example log line:

{"method":"GET","path":"/arvados/v1/keep_services/accessible","format":"html","controller":"arvados/v1/keep_services","action":"accessible","status":200,"duration":11.07,"view":0.36,"db":2.63,"@timestamp":"2016-08-18T19:04:17Z","@version":"1","message":"[200] GET /arvados/v1/keep_services/accessible (arvados/v1/keep_services#accessible)"}

9804: Removed the "Activity" pane from Collection View @ Workbench. Also removed a related query on the controller's show method, and a test.

Merge branch '9826-config-symbols'

closes #9826

9826: Deserialize symbols when loading server config YAML.

Add --compute-checksum to sdk/cwl/test_with_arvbox.sh refs #9552

9827: Use "arvbox rebuild" to ensure up to date arvados/arvbox-demo image.

Merge branch '9820-cwl-poll-jobs' closes #9820

9820: Directly poll job or container records that we are interested in. Benefit: puts less load on database than log table polling, and doesn't miss events.

Merge branch '9684-workflows'

refs #9684

9684: Style nitpicks.

9684: update arvados_model -> recursive_stringify to convert ":foo" to "foo"

Merge branch '9333-api-server-invalid-sql'

9333: Fixes to solve workbench integration tests failures. Refs #9333

Merge branch 'master' into 9333-api-server-invalid-sql

9684: update arvados_model -> recursive_stringify to convert ":foo" to "foo"

9333: Adding collection model specific sttributes to be ignored on the validation mechanism to fix workbench integration test failures

9684: Add safe_yaml initializer

closes #9684
Merge branch '9684-workflows'

Merge branch '9333-api-server-invalid-sql'

9333: Selected attributes list validation on the API Server, avoiding invalid SQL queries to the database. Closes #9333

9333: Removed superfluous quote marks on exception message

9333: Treating the "attribute is not a string" error case the same as the other invalid attributes. Moved the checks to ArvadosModel. Updated tests.

9684: workflow yaml error logging

9678: use safe_yaml and other updates.

closes #9709
Merge branch '9709-dont-log-manifest-texts'

9333: Attribute validation on "select" to avoid invalid SQL statements

Fix failing tests. refs #9776

Fix schema salad package build version.  no issue #

Merge branch '9776-cwl-HOME-TMPDIR' closes #9776

9776: Ensure that $HOME and $TMPDIR are set correctly.

Merge branch '9615-cwl-writable-unsupported' refs #9615

9615: Add check_writable to check for "writable" field and raise UnsupportedRequirement.

Merge branch '9751-cwl-keep-dir' closes #9751

9552: import compute_checksums from cwltool.

9751: Fix handling local Directories

9751: Bump cwltool dependency.

9751: Fix unit tests.  Rename dir6.cwl to keep-dir-test-input.cwl

9751: Override realpath in CollectionFsAccess

9751: Fix direct to keep directory references.
Add arvados-specific integration test for arvados-cwl-runner.

9751: Provide make_fs_access=CollectionFsAccess and bump cwltool pin.

closes #9678
Merge branch '9678-container-request-log-tab'

9709: do not include manifest_text in collection logs.

closes #9658
Merge branch '9658-cwl-runner-container'

9678: enhance test to verify that the combined logs are displayed.

9678: enhance container log tab display to consider the "combined" object logs.

9658: when arvados-cwl-runner is invoked with --api containers, display the container_request uuid to console.

closes #9745
Merge branch '9745-cds-api-config'

9705: Add docker-cleaner unit file to Install Guide.

9705: Add crunch-dispatch-slurm to the Install Guide.

9684: add workflow resource to api server

9705: Refactor out partials from compute node install guide.

These will be reused in the Crunch2 install guide.

9745: Update example config.

9745: Load API host and token from crunch-dispatch-slurm config file.

9706: Add example config file.

No issue #

gofmt.

No issue #

Fix race in crunchstat.

To fulfill the "nothing more will be logged after Stop() returns"
guarantee, Stop() needs to wait for run() to finish.

Should fix https://ci.curoverse.com/job/run-tests-remainder/38/consoleText

No issue #

Simplify write flusher using a time.Ticker.

No issue #

Fix potential race in ThrottledLogger flusher.

No issue #

Merge branch '9552-compute-checksum-final-output' refs #9552

Merge branch '9406-cgroup-parent'

closes #9406

9406: Explain why there are two separate CgroupParent fields.

9552: If compute_checksum is true, check if checksum needs to be computed on final output, and add it if missing.

Merge branch '9595-mount-json'

closes #9595

9595: Fix hardcoded temp dir in test. Add checks for CleanupDirs().

9595: Support "json" mount type.

Merge branch '9677-update-install-docs'

closes #9677

Document how to download and tag the arvados/jobs Docker image.

refs #9677

Merge branch '9674-cwl-initialworkdir' closes #9674

Merge branch '9617-reject-container-reqs-without-vcpus'

9617, 9618: Added runtime constraints to fixtures.

refs #9617, #9618

9617, 9618: Added runtime constraints to container requests fixtures. Wrote a new test to load a CR from a fixture and update some attribute to test for the new validations

Merge branch '9617-reject-container-reqs-without-vcpus'

9617, 9618: Require positive integers on both 'vcpus' and 'ram' runtime constraints when a container request is committed. Closes #9617, #9618

9617: Corrected variable & test naming

9674: InitialWorkDirPathMapper bug fix to set correct source path for files in
virtual working directory.

9617: Reorganized code reusing the invalid_constraint list on both create & update tests. Separated the successful test case to be on its own.