10110: arv-copy workflows

closes #10516
Merge branch '10516-workbench-stats-logic'

Merge branch '10881-build-python-futures-package' refs #10881

10881: Add python-futures as explicit cwltest dependency and bump iteration.

Build the python-futures package, version 3.0.5, for our supported
distributions.

refs #10881

Merge branch '10880-poll-test-races'

closes #10880

10880: Fix races in event-polling tests.

The polling tests were broken because the API stub was returning its
fake events during the "find recent log ID" probe, so they were being
thrown away by PollClient and never sent to the test case's callback
function.

Most of the tests kept passing anyway, though, because subscribe()
itself sends a synthetic {'status':200} event, and this was being
misconstrued as confirmation that an event had been retrieved from the
API stub.

The false positive was not reliable for test_callback(), though,
because it cleared callback_called and tested another event without
calling subscribe() again. Sometimes, because the first "wait for
event" wasn't really waiting, the test would feed the second event to
the stub before PollClient had a chance to do its ID probe, so both
events would be dropped and the second "wait for event" would fail.

With the "wait for event" code fixed, it is no longer necessary to
close the poll client before checking which filters were used to
retrieve events.

Merge branch '10877-azure-base-url'

closes #10877

10877: Add example using core.chinacloudapi.cn.

10516: update work_unit test to compare cputime and walltime.

10516: update test to expect 0 cputime, instead of nil.

10516: compute cputime recursively using cputime of any children.

10877: Configurable base URL for Azure storage, e.g., StorageBaseURL: core.usgovcloudapi.net

refs #10516
Merge branch '10516-set-finished-at-on-finished-pipelines'

refs #9831
Merge branch '9831-fix-failing-workbench-test'

Merge branch '10812-cwl-package-update' refs #10812

10812: Update arvados-cwl-runner dependencies.  Remove pathlib2 from backports.

Merge branch '9831-faster-unique-name'

closes #9831

9831: Avoid attempting the same name twice, even if an attempt takes less than 1ms.

Merge branch '10869-cwl-keep-ref' refs #10869

9831: Use a timestamp instead of a serial number to come up with a unique name after a name collision.

Merge branch '10812-similar-collections-check' refs #10812

10869: Pass CollectionFetcher to load_tool in crunch_script so that it will recognize keep: URIs.

Merge branch '9998-unsigned_manifest'

refs #9998

Merge branch 'master' into 9998-unsigned_manifest

Conflicts:
services/api/app/models/collection.rb
services/keep-balance/collection.go

Merge branch '10816-postgres-permissions'

refs #10816

10812: Fix check for collection reuse, same PDH and similar name.

10816: Add comments to poorly-documented name/binds args to exec_query().

10816: Merge branch 'master' into 10816-postgres-permissions

10816: Release savepoint after rollback. Use exec_query instead of execute. Move perms_for_val to a class constant.

10808: Fix crash in cache-ownership-mismatch warning message.

refs #10808

Merge branch '10682-localfs-stats'

closes #10682

10682: Track readdir ops.

10682: Report IO stats for filesystem-backed volumes.

Pin the python-pathlib2 dependency to 2.1.0, because 2.2 introduces more
dependencies and we've already got enough of those.

No issue #

10816: Use a recursive postgres query instead of building the permission graph in Ruby.

Merge branch 'arvbox-tmp-cache' no issue #

Fix run-tests.sh --only-install option.

No issue #

Create tmp/cache dir after cleaning old one.

Bump up rails package iteration.

refs #10838

Fix run-tests.sh --only option for the workbench suite.

refs #8345

Merge branch '10793-cwl-continue-on-error' closes #10793

10793: Ensure on_error is set if not present in job_order_object.

Merge branch '10838-fix-rails-package-postinst'

closes #10838

In our rails postinstall package script, preserve newlines when looking
for the '^database:' line, so that we match every line of the rake
db:migrate:status output, not just the first one.

refs #10838

Merge branch '10223-cr-set-output-name'
Closes #10223

10223: Added CR's output_name to FTS index

10223: Added test to check for missing full text search indexes

10793: Fix to return tuple for alternate exit points --create/update-workflow and --no-wait

Merge branch '10808-admin-cancel-job'

refs #10808

10808: Move comment.

10793: Move output_callback to finally block to ensure it is always called.

10808: Exempt "change state to Cancelled" from "locked by uuid" protection.

10223: Added relevant explanation on the rollback command

10793: Return output, status tuple from executor.

10223: Test simplification: better name, assertion error description added, and use of preexisting fixture.

Merge branch '10808-file-cache-ownership'

refs #10808

10793: Bump cwltool pin for workflow engine improvements.  Propagate on-error
behavior from command line to workflow runner job.

10808: Avoid using the disk cache if a different user owns it (e.g., running a rake task or crunch-dispatch as root).

10223: Merge branch 'master' into 10223-cr-set-output-name

10223: Added support to CR output_name on cwl-runner. Updated test.

9831: update test that started failing due to unique name collision logic update; removed the second "Create a new project" from test since this is already tested on the API server end.

10516: set finished_at to updated_at on pipeline_instances if the pipeline is finished but the finished_at is not set.

Fix run-tests.sh --skip option.

No issue #

Merge branch '8345-revert-llfuse-to-0.41.1'

refs #8345

8345: Revert llfuse to 0.41.1.

8345: Compatibility with llfuse 0.41 and 1.x.

8345: Add run-tests.sh --repeat option.

Merge branch '10795-get-zero-block'

refs #10795

10795: For md5(""), skip the request and just return an empty reader.

10795: Remove test-selector code (use -check.f instead).

Merge branch '10682-azure-stats'

refs #10682

10682: Add GetMetadataOps and GetPropertiesOps to Azure backend stats.

10682: Add comments to statsTicker.

10682: Track Azure backend errors by type.

10682: Add backend stats for Azure volumes.

10223: Added output_name column to container_request. When being finalized, if output_name is set then the output
collection will be named accordingly. If there is a unique index violation, a date is added to its name.
Also, added output_name to CR search index.

10682: Avoid invoking special "test mode" behavior in Azure SDK.

Restores compatibility with latest azure-sdk-for-go.

refs #10682

run-build-packages-all-targets.sh: Make sure to build all packages once not twice.

No issue #

Merge branch '10786-remove-centos6-from-build-directory'

closes #10786

Remove additional CentOS6 files.

refs #10786

Remove CentOS6 support from the build directory.

refs #10786

Merge branch 'master' into 10786-remove-centos6-from-build-directory

Merge branch '10467-client-disconnect' closes #10467

Merge branch '10790-crunch-job-log-timeout' refs #10790

10790: Increase timeout reading from arv-put.

Merge branch '10538-trash-delete' closes #10538

10538: Mention fixture names in comments when not using fixture finders.

10467: Use BlockReader and BlockWriter interfaces instead of passing methods to get/putWithPipe.

10467: Remove debug printfs.

10467: Remove unneeded errorReadCloser, make getter/putter interfaces more like WriterTo/ReaderFrom.

Merge branch '10497-cwl-job-logs' closes #10497

Merge branch '10722-cwl-subworkflow' closes #10722

10538: Clarify error message.

10538: Clear up default_trash_interval logic

10538: Fix misspelled IsTrash -> IsTrashed

10497: Replace \d\d\d\d with \d{4}

8345: Build python27-python-contextlib2 for centos7.

refs #8345

Fix version# of centos7 llfuse backport.

No issue #

Bring back ca-certificates to package-testing images.

No issue #