8491: Merge branch 'master' into 8491-import-build-tools

8491: 8222: Prohibit activesupport 4.2.6 so our gem can be installed with ruby <2.2.2

8491: Remove git-commit.version before running api server tests

8491: --retry applies to do_install too

8491: move files from arvados-dev into their new places

Add 'build/' from commit '555b039609a3c8700c27767c255fdfe00eb42063'

git-subtree-dir: build
git-subtree-mainline: d1de3281f023bfdbb62a172dec058caf2496224f
git-subtree-split: 555b039609a3c8700c27767c255fdfe00eb42063

Merge branch '8345-llfuse-unpin' refs #8345

8345: Need "yum install -y" to reliably install rpm packages.

8345: 8491: Downgrade to llfuse 0.41 until #8345 gets sorted out (but keep the fuse backports).

closes #8558
Merge branch '8558-cwl-propagate-resource-req'

Merge branch 'master' into 8558-cwl-propagate-resource-req

Conflicts:
sdk/cwl/arvados_cwl/__init__.py

Fix node manager to send ActorProxy instead of TellActorProxy to
ComputeNodeStateChangeBase subscribers.  refs #8543

Get the go binary from a http url instead of https, so that our
transparent proxy can cache it.

No issue #

Build package for arvados-cwl-runner.

refs #8671

8558: when cores not found in resources, use default.

refs #8558
Merge branch '8558-add-cwl-jenkins'

8558: compacted code

8636: Fix ArvPathMapper.reversemap to return a tuple as expected by caller.
Improve job reuse by setting minimum_script_version.  refs #8636

8558: update field names and ensure the tests pass

8558: add cwl to jenkins

Remove duplicate environment variable.

Fixes tests failing after perl security fix.

"Previously on a duplicate, %ENV would have the last entry for the name
from environ[], but a typical getenv() would return the first entry."

refs:
* http://perl5.git.perl.org/perl.git/commitdiff/ae37b791a73a9e78dedb89fb2429d2628cf58076
* https://security-tracker.debian.org/tracker/CVE-2016-2381

No issue #

closes #8508
Merge branch 'wtsi-hgi-8508-datamanager-test-badpaths'

8508: go fmt

Merge branch '8543-nodemanager-fewer-futures' closes #8543

8543: Implement TellActorProxy which uses Actor.tell() instead of Actor.ask().
Implement BaseNodeMangerActor and TellableActorRef to provide tell_proxy().
Convert proxies in Node Manager that don't return Futures to use
TellActorProxy.

Merge branch '8439-gitolite-nonff-perms-wip'

Closes #8439, #8525.

8439: API server suggests RW+ Gitolite permissions for writers.

This lets users with write permission do non-fast-forward pushes.

8558: Add test case for running ArvadosCommandTool

8345: Uninstall old llfuse from reused virtualenv, if necessary.

8345: Merge branch 'master' into 8345-llfuse-unpin

8345: Fix up log messages to show which distro/package is being built/tested.

8345: Build contextlib2 backport, needed by python-llfuse on debian7.

Fix crunch-run tests to pass reliably. refs #8015

8558: include min_scratch_mb_per_node in the keys propagated

Merge branch 'master' into 8558-cwl-propagate-resource-req

CWL test select config, refs #8558

Bugfix for CWL conformance test script, refs #8558

Self test script for running CWL conformance tests on arvados-cwl-runner
against Arvados arvbox instance. refs #8558

Rename arvbox command 'reboot' to 'rebuild' no issue #

arvbox "ready" script correctly waits for all sdk packages to be ready. no issue #

Add arvados-cwl-runner to arvbox sdk install script. no issue #

Arvbox improvements: add "pipe", "cat", "ls".  Report both container IP address
and published arvbox host.  Update install page with new commands.  no issue #

8558: add min_cores_per_node and min_ram_mb_per_node to runtime_constraints from builder resources

closes #8497
Merge branch 'wtsi-hgi-8497-datamanager-batchsize-1000'

Merge branch '8497-datamanager-batchsize-1000' of https://github.com/wtsi-hgi/arvados into wtsi-hgi-8497-datamanager-batchsize-1000

makes -collection-batch-size an option as requested by @rchippada

Merge branch '8620-better-README' closes #8620

Merge branch '8488-cwl-crunchrunner-collection' closes #8488

8345: Add build-essential to ubuntu1204 package-building image

8620: Add note about arvbox publicdemo mode and link to Hacking page.

8620: Remove unnecessary "Arvados" header.

8620: Link to Hacking Arvados page under Development.

8620: Crunch is a cluster and HPC workflow engine.

8620: Add link to cloud.curoverse.com, and mention using arvbox for development
testing.

Merge branch '8508-datamanager-test-badpaths' of https://github.com/wtsi-hgi/arvados into wtsi-hgi-8508-datamanager-test-badpaths

8620: Better onramp in README.md so people visiting Github page for Arvados get
a sense of what it's about and can try out arvbox.

Add git clone to arvbox quickstart doc.  refs #8230

8488: Fix reverse mapping for references to input files from keep.

8345: Build and install new fuse libs before building llfuse.

Merge branch '7263-batch-task-lookup' closes #7263

7263: Let arvados library do the json encoding.

7263: Check new tasks after a task completes, even if others failed in the same reapchildren().

7263: Updates reapchildren to perform API query for new tasks in batches

Conflicts:
sdk/cli/bin/crunch-job

closes #7399
Merge branch '7399-log-throttling'

7399: do not handle crunchstat stderr partial line segments in this story.

7399: use regexp to look for partial line segments.

Merge branch '8099-babysit-all-srun' closes #8099

Merge branch 'master' into 8099-babysit-all-srun

Conflicts:
sdk/cli/bin/crunch-job

8099: Remove duplicated line

Merge branch '8343-cgroup-root' closes #8343

8343: Allow overriding -cgroup-root=/sys/fs/cgroup via crunch-dispatch run script.

8488: Match line beginnings

Build arvbox instead of the old docker images.

refs #8231

8345: Use a separate vendor/cache for each OS target. See dev.arvados.org/issues/8345#note-11

Remove arvbox from arvados-dev (now in arvados/tools) refs #8231

Merge branch '8231-publish-arvbox' closes #8231

8231: Convert arvbox documentation to textile.  Update root Arvados README to
mention Arvbox.

8231: Fix nginx logging issue

8488: Set docker_outdir to get correct outdir in command line.  Bump cwltool
dependency to get better workflow iteration.

8488: Determine actual output dir from reading logs.  Need to set
$(runtime.outdir) correctly for arvados-cwl-runner.

8373: Expand crunch-job regexp to detect more Keep temporary failures.

Closes #8373.

8231: Move arvbox README into install guide.

Merge branch '8015-crunch2-mount' closes #8015

Add 'tools/arvbox/' from commit 'd3d368758db1f4a9fa5b89f77b5ee61d68ef5b72'

git-subtree-dir: tools/arvbox
git-subtree-mainline: d77bf0c67422a259afacc17660698729328a1ed3
git-subtree-split: d3d368758db1f4a9fa5b89f77b5ee61d68ef5b72

8015: Fix typos in error reporting.  Fix tests.

Merge branch '6605-arv-copy-http' closes #6605

Merge branch 'master' into 8345-llfuse-unpin

7399: added test for partial line segment throttling.

6605: Add --allow-git-http-src and --allow-git-http-dst instead of looking at ARVADOS_API_HOST_INSECURE.

8099: 7263: Merge branch 'hgi/7263-even-better-busy-behavior' of github.com:wtsi-hgi/arvados into 8099-babysit-all-srun

Conflicts:
sdk/cli/bin/crunch-job

Workaround for https://bugs.python.org/issue7980. No issue #

Docs: Fix typo in run-command foreach example.

Reported in IRC.  No issue #.

8371, 8413: Bump Rails package iteration.

Build these bug fixes into new packages.
Closes #8371, #8413.

Merge branch '8413-fix-rails-postinst-chgrp-wip'

Refs #8413.  Closes #8475.

8413: Rails postinst doesn't chgrp root /etc/arvados.

Non-sensitive Rails configuration files can be 0644 root:root.
Porting those permissions is fine for the individual configuration
file, but not the parent directory tree.  Don't change the group of
the directory tree in this case.

Merge branch '8371-centos-postrm-bugfix-wip'

Refs #8371.  Closes #8476.

Merge branch '8437-nodemanager-on-failure' closes #8437

8437: Test all exceptions that should be caught.

Merge branch '8416-node-manager-find-node' closes #8416

8416: Don't catch exception from search_for, potentially hides exceptions we
wanted to see and the original intended behavior of re-raising the original
exception doesn't work anyway, because sys.exc_info is overwritten when the 2nd
exception is caught.