8654: Collect output files into output collection, use as output for task.

Merge branch '8673-cwl-runner-project-uuid' into 8654-arv-jobs-cwl-runner

8654: Passes in local testing.

8673: Fix --project-uuid for arv-keepdocker upload.

8673: Report pipeline instance uuid.  Reuse jobs by default.  Bump cwltool
version dependency.

8673: Typo fix for --project-uuid.  Refactor main loop locking to address
possible race condition causing workflow to end prematurely.

8673: Adding --project-uuid so resources are created in the specified project.

Add Dockerfile & update sources.list

Fixes

Stuff

8654: cwl-runner crunch script

8654: cwl-runner crunch stub.

8636: Fix ArvPathMapper.reversemap to return a tuple as expected by caller.
Improve job reuse by setting minimum_script_version.  refs #8636

Remove duplicate environment variable.

Fixes tests failing after perl security fix.

"Previously on a duplicate, %ENV would have the last entry for the name
from environ[], but a typical getenv() would return the first entry."

refs:
* http://perl5.git.perl.org/perl.git/commitdiff/ae37b791a73a9e78dedb89fb2429d2628cf58076
* https://security-tracker.debian.org/tracker/CVE-2016-2381

No issue #

closes #8508
Merge branch 'wtsi-hgi-8508-datamanager-test-badpaths'

8508: go fmt

Merge branch '8543-nodemanager-fewer-futures' closes #8543

8543: Implement TellActorProxy which uses Actor.tell() instead of Actor.ask().
Implement BaseNodeMangerActor and TellableActorRef to provide tell_proxy().
Convert proxies in Node Manager that don't return Futures to use
TellActorProxy.

Merge branch '8439-gitolite-nonff-perms-wip'

Closes #8439, #8525.

8439: API server suggests RW+ Gitolite permissions for writers.

This lets users with write permission do non-fast-forward pushes.

8654: arvados/jobs image install arvados-cwl-runner package

Fix crunch-run tests to pass reliably. refs #8015

CWL test select config, refs #8558

Bugfix for CWL conformance test script, refs #8558

Self test script for running CWL conformance tests on arvados-cwl-runner
against Arvados arvbox instance. refs #8558

Rename arvbox command 'reboot' to 'rebuild' no issue #

arvbox "ready" script correctly waits for all sdk packages to be ready. no issue #

Add arvados-cwl-runner to arvbox sdk install script. no issue #

Arvbox improvements: add "pipe", "cat", "ls".  Report both container IP address
and published arvbox host.  Update install page with new commands.  no issue #

closes #8497
Merge branch 'wtsi-hgi-8497-datamanager-batchsize-1000'

Merge branch '8497-datamanager-batchsize-1000' of https://github.com/wtsi-hgi/arvados into wtsi-hgi-8497-datamanager-batchsize-1000

makes -collection-batch-size an option as requested by @rchippada

Merge branch '8620-better-README' closes #8620

Merge branch '8488-cwl-crunchrunner-collection' closes #8488

8620: Add note about arvbox publicdemo mode and link to Hacking page.

8620: Remove unnecessary "Arvados" header.

8620: Link to Hacking Arvados page under Development.

8620: Crunch is a cluster and HPC workflow engine.

8620: Add link to cloud.curoverse.com, and mention using arvbox for development
testing.

Merge branch '8508-datamanager-test-badpaths' of https://github.com/wtsi-hgi/arvados into wtsi-hgi-8508-datamanager-test-badpaths

8620: Better onramp in README.md so people visiting Github page for Arvados get
a sense of what it's about and can try out arvbox.

Add git clone to arvbox quickstart doc.  refs #8230

8488: Fix reverse mapping for references to input files from keep.

Merge branch '7263-batch-task-lookup' closes #7263

7263: Let arvados library do the json encoding.

7263: Check new tasks after a task completes, even if others failed in the same reapchildren().

7263: Updates reapchildren to perform API query for new tasks in batches

Conflicts:
sdk/cli/bin/crunch-job

closes #7399
Merge branch '7399-log-throttling'

7399: do not handle crunchstat stderr partial line segments in this story.

7399: use regexp to look for partial line segments.

Merge branch '8099-babysit-all-srun' closes #8099

Merge branch 'master' into 8099-babysit-all-srun

Conflicts:
sdk/cli/bin/crunch-job

8099: Remove duplicated line

Merge branch '8343-cgroup-root' closes #8343

8343: Allow overriding -cgroup-root=/sys/fs/cgroup via crunch-dispatch run script.

8488: Match line beginnings

Merge branch '8231-publish-arvbox' closes #8231

8231: Convert arvbox documentation to textile.  Update root Arvados README to
mention Arvbox.

8231: Fix nginx logging issue

8488: Set docker_outdir to get correct outdir in command line.  Bump cwltool
dependency to get better workflow iteration.

8488: Determine actual output dir from reading logs.  Need to set
$(runtime.outdir) correctly for arvados-cwl-runner.

8373: Expand crunch-job regexp to detect more Keep temporary failures.

Closes #8373.

8231: Move arvbox README into install guide.

Merge branch '8015-crunch2-mount' closes #8015

Add 'tools/arvbox/' from commit 'd3d368758db1f4a9fa5b89f77b5ee61d68ef5b72'

git-subtree-dir: tools/arvbox
git-subtree-mainline: d77bf0c67422a259afacc17660698729328a1ed3
git-subtree-split: d3d368758db1f4a9fa5b89f77b5ee61d68ef5b72

8015: Fix typos in error reporting.  Fix tests.

Merge branch '6605-arv-copy-http' closes #6605

7399: added test for partial line segment throttling.

6605: Add --allow-git-http-src and --allow-git-http-dst instead of looking at ARVADOS_API_HOST_INSECURE.

8099: 7263: Merge branch 'hgi/7263-even-better-busy-behavior' of github.com:wtsi-hgi/arvados into 8099-babysit-all-srun

Conflicts:
sdk/cli/bin/crunch-job

Workaround for https://bugs.python.org/issue7980. No issue #

Docs: Fix typo in run-command foreach example.

Reported in IRC.  No issue #.

Merge branch '8437-nodemanager-on-failure' closes #8437

8437: Test all exceptions that should be caught.

Merge branch '8416-node-manager-find-node' closes #8416

8416: Don't catch exception from search_for, potentially hides exceptions we
wanted to see and the original intended behavior of re-raising the original
exception doesn't work anyway, because sys.exc_info is overwritten when the 2nd
exception is caught.

8488: Use OrderedJsonModel so that pipeline components show up in the order they were queued.

8488: Update cwltool pin

8437: Add missing test.

8488: Fix output collection to accomodate reverse mapping fixes in cwltool.
Catch errors and mark pipeline as terminated.

Tweak slurm configuration to run as non-root user.

Fix arvados-login-sync for vm account creation

Generalize arvbox 'svrestart' to 'sv' no issue #

8437: Add FullStopActor which uses os.killpg() to terminate node manager on_failure.  Added test.

closes #5694
Merge branch '5694-running-job-log'

5694: remove the extra white space in log tab display.

8416: Remove find_node and use existing search_for feature.

Merge branch 'master' into 5694-running-job-log

7399: throttle partial segments of long lines to once every "n" seconds

6605: Use git -c instead of "git config" to set credentials.  Refuse to use
insecure http unless ARVADOS_API_HOST_INSECURE is also true.

8488: Update default arvados branch to master

8488: crunchrunner brings certificates with it to ensure that it can
communicate with API server from inside the container.

8488: Set certificate path.

5694: display 2000 historic log lines in running job's Log tab.

Fixes 8508 by creating a bad path explicitly

Rather than assuming we can't write to '/', this change
creates a temporary directory and then refers to a nonexistent
path within it.

8099: When invoking setup tasks via srun, check slurm queue and propagate stderr to logs.

Merge branch '8484-sanity-check-collection-count' closes #8484

8484: Fix fixtures with modified_at=NULL

adds missing var collections SdkCollectionList

raises datamanager BatchSize from 50 to 1000