10812: Don't try to upload embedded tools separately unless they have an
identifier.

10812: Handle workflow keep references.

10812: Use packed workflows for all run modes.

Conflicts:
sdk/cwl/arvados_cwl/__init__.py
sdk/cwl/arvados_cwl/runner.py

Merge branch '10812-log-merge' refs #10812

Merge branch '10812-submit-runner-image' refs #10812

Merge branch '10935-noop-munge' closes #10935

10812: Add tests

10812: Perform merge of logs based on timestamp instead of sorting log lines.

10935: Add test that round tripping works after disabling deep_munge.

10812: Add --submit-runner-image to override default Docker image when submitting workflow runner.

Conflicts:
sdk/cwl/arvados_cwl/__init__.py
sdk/cwl/arvados_cwl/runner.py

10935: Make Rails method deep_munge a noop, so that empty arrays can round trip
through json instead of being turned into 'nil'.

closes #5666
Merge branch '5666-wu-cancel-button-style'

10883: scancel slurm job when erroring out early.

refs #10883

Merge branch '10813-arv-put-six-threads'
Refs #10813

10813: Merge branch 'master' into 10813-arv-put-six-threads

10813: Fixed typo on argument documentation.
Added only_committed parameter to Collection.manifest_text() so it passes along to _get_manifest_text().
Corrected put_queue's size back to 2 on BlockManager.

Merge branch '10292-cwl-deadlock' refs #10292

10292: Update cwltool for bugfix: intermittant workflow deadlock on subworkflow completion.

10813: Bug fixed on BlockManager's _get_manifest_text() when asked for only include committed blocks on collections with subcollections inside it.
Also, added --threads parameter to arv-put command so the default number of upload threads (2) can be overridden.
Changed the update thread to execute once every minute, because it blocks the local collection for a few seconds (depending on the manifest size)
Also, cleaned up some locking uses on the update thread to minimize the time with the locking in place.

Remove references to debian7 and centos6. Also remove some hardcoded
--iteration flags for fpm, now that #6885 is done.

refs #10785

Merge branch '10858-build-packages-improvements'

closes #10858

10858: Equivalent commit for 10881: Add python-futures as explicit
cwltest dependency and bump iteration.

refs #10858

Fix rpm architecture in the test_package_presence function. Expand on
comment.

refs #10858

Merge branch '10800-update-doc'

closes #10800

Merge branch 'master' into 10800-update-doc

refs #10800

More documentation updates to reflect the end of support for Debian
Wheezy and CentOS 6. Also remove obsolete arv-docker installation page,
which was no longer linked from anywhere.

refs #10800

Documentation updates to reflect the end of support for Debian Wheezy and CentOS 6.

refs #10800

Merge branch '10868-log-dispatch-decisions'

refs #10868

10868: Add fake uuid to test case for more realistic log messages.

10868: Log job runtime constraints and node properties when making a dispatch decision.

Bump libcloud pin to 0.20.2.dev3 for Azure China support.  refs #10833

If the fpm run fails, always print out the failed command so that we
don't have to run the build scripts in debug mode all the time.

refs #10858

Fix the shortcut that tests the need of rebuilding the arvados-src
package.

refs #10858

Handle rpm-based backports correctly.

refs #10858

Merge branch 'master' into 10858-build-packages-improvements

refs #10858

Refactor the build-packages scripts a bit to make them much more
efficient when there is nothing to do.

refs #10858

10813: arv-put with 6 upload threads, to be tested on production.

Merge branch '10881-build-python-futures-package' refs #10881

10881: Add python-futures as explicit cwltest dependency and bump iteration.

5666: Use "warning" bootstrap style for Cancel button display.

Build the python-futures package, version 3.0.5, for our supported
distributions.

refs #10881

Merge branch '10880-poll-test-races'

closes #10880

10880: Fix races in event-polling tests.

The polling tests were broken because the API stub was returning its
fake events during the "find recent log ID" probe, so they were being
thrown away by PollClient and never sent to the test case's callback
function.

Most of the tests kept passing anyway, though, because subscribe()
itself sends a synthetic {'status':200} event, and this was being
misconstrued as confirmation that an event had been retrieved from the
API stub.

The false positive was not reliable for test_callback(), though,
because it cleared callback_called and tested another event without
calling subscribe() again. Sometimes, because the first "wait for
event" wasn't really waiting, the test would feed the second event to
the stub before PollClient had a chance to do its ID probe, so both
events would be dropped and the second "wait for event" would fail.

With the "wait for event" code fixed, it is no longer necessary to
close the poll client before checking which filters were used to
retrieve events.

closes #10110
Merge branch '10110-arv-copy-workflow'

10110: add ruamel.yaml to setup.py

10110: also copy any docker images during arv-copy of a workflow and update documentation.

10110: arv-copy workflows

closes #10516
Merge branch '10516-workbench-stats-logic'

Merge branch '10877-azure-base-url'

closes #10877

10877: Add example using core.chinacloudapi.cn.

10516: update work_unit test to compare cputime and walltime.

10516: update test to expect 0 cputime, instead of nil.

10516: compute cputime recursively using cputime of any children.

10877: Configurable base URL for Azure storage, e.g., StorageBaseURL: core.usgovcloudapi.net

run-build-packages-one-target.sh should respect the --debug flag.

refs #10858

Pin the python-pathlib2 dependency to 2.1.0, because 2.2 introduces more
dependencies and we've already got enough of those.

No issue #

Merge branch 'arvbox-tmp-cache' no issue #

Fix run-tests.sh --only-install option.

No issue #

Create tmp/cache dir after cleaning old one.

Bump up rails package iteration.

refs #10838

Fix run-tests.sh --only option for the workbench suite.

refs #8345

Merge branch '10793-cwl-continue-on-error' closes #10793

10793: Ensure on_error is set if not present in job_order_object.

Merge branch '10838-fix-rails-package-postinst'

closes #10838

In our rails postinstall package script, preserve newlines when looking
for the '^database:' line, so that we match every line of the rake
db:migrate:status output, not just the first one.

refs #10838

Merge branch '10223-cr-set-output-name'
Closes #10223

10223: Added CR's output_name to FTS index

10223: Added test to check for missing full text search indexes

10793: Fix to return tuple for alternate exit points --create/update-workflow and --no-wait

Merge branch '10808-admin-cancel-job'

refs #10808

10808: Move comment.

10793: Move output_callback to finally block to ensure it is always called.

10808: Exempt "change state to Cancelled" from "locked by uuid" protection.

10223: Added relevant explanation on the rollback command

10793: Return output, status tuple from executor.

10223: Test simplification: better name, assertion error description added, and use of preexisting fixture.

Merge branch '10808-file-cache-ownership'

refs #10808

10793: Bump cwltool pin for workflow engine improvements.  Propagate on-error
behavior from command line to workflow runner job.

10808: Avoid using the disk cache if a different user owns it (e.g., running a rake task or crunch-dispatch as root).

10223: Merge branch 'master' into 10223-cr-set-output-name

10223: Added support to CR output_name on cwl-runner. Updated test.

refs #10516
Merge branch '10516-set-finished-at-on-finished-pipelines'

refs #9831
Merge branch '9831-fix-failing-workbench-test'

Merge branch '10812-cwl-package-update' refs #10812

10812: Update arvados-cwl-runner dependencies.  Remove pathlib2 from backports.

Merge branch '9831-faster-unique-name'

closes #9831

9831: Avoid attempting the same name twice, even if an attempt takes less than 1ms.

Merge branch '10869-cwl-keep-ref' refs #10869

9831: Use a timestamp instead of a serial number to come up with a unique name after a name collision.

Merge branch '10812-similar-collections-check' refs #10812

10869: Pass CollectionFetcher to load_tool in crunch_script so that it will recognize keep: URIs.

Merge branch '9998-unsigned_manifest'

refs #9998

Merge branch 'master' into 9998-unsigned_manifest

Conflicts:
services/api/app/models/collection.rb
services/keep-balance/collection.go

Merge branch '10816-postgres-permissions'

refs #10816

10812: Fix check for collection reuse, same PDH and similar name.

10816: Add comments to poorly-documented name/binds args to exec_query().

10816: Merge branch 'master' into 10816-postgres-permissions

10816: Release savepoint after rollback. Use exec_query instead of execute. Move perms_for_val to a class constant.

10808: Fix crash in cache-ownership-mismatch warning message.

refs #10808

Merge branch '10682-localfs-stats'

closes #10682