8558: Add test case for running ArvadosCommandTool

8345: Uninstall old llfuse from reused virtualenv, if necessary.

8345: Merge branch 'master' into 8345-llfuse-unpin

8345: Fix up log messages to show which distro/package is being built/tested.

8345: Build contextlib2 backport, needed by python-llfuse on debian7.

8554: trash and untrash implementation

Fix crunch-run tests to pass reliably. refs #8015

8558: include min_scratch_mb_per_node in the keys propagated

Merge branch 'master' into 8558-cwl-propagate-resource-req

CWL test select config, refs #8558

Bugfix for CWL conformance test script, refs #8558

Self test script for running CWL conformance tests on arvados-cwl-runner
against Arvados arvbox instance. refs #8558

Rename arvbox command 'reboot' to 'rebuild' no issue #

arvbox "ready" script correctly waits for all sdk packages to be ready. no issue #

Add arvados-cwl-runner to arvbox sdk install script. no issue #

Arvbox improvements: add "pipe", "cat", "ls".  Report both container IP address
and published arvbox host.  Update install page with new commands.  no issue #

8558: add min_cores_per_node and min_ram_mb_per_node to runtime_constraints from builder resources

closes #8497
Merge branch 'wtsi-hgi-8497-datamanager-batchsize-1000'

Merge branch '8497-datamanager-batchsize-1000' of https://github.com/wtsi-hgi/arvados into wtsi-hgi-8497-datamanager-batchsize-1000

makes -collection-batch-size an option as requested by @rchippada

Merge branch '8620-better-README' closes #8620

Merge branch '8488-cwl-crunchrunner-collection' closes #8488

8345: Add build-essential to ubuntu1204 package-building image

8620: Add note about arvbox publicdemo mode and link to Hacking page.

8620: Remove unnecessary "Arvados" header.

8620: Link to Hacking Arvados page under Development.

8620: Crunch is a cluster and HPC workflow engine.

8620: Add link to cloud.curoverse.com, and mention using arvbox for development
testing.

Merge branch '8508-datamanager-test-badpaths' of https://github.com/wtsi-hgi/arvados into wtsi-hgi-8508-datamanager-test-badpaths

8620: Better onramp in README.md so people visiting Github page for Arvados get
a sense of what it's about and can try out arvbox.

Add git clone to arvbox quickstart doc.  refs #8230

8488: Fix reverse mapping for references to input files from keep.

8345: Build and install new fuse libs before building llfuse.

Merge branch '7263-batch-task-lookup' closes #7263

7263: Let arvados library do the json encoding.

7263: Check new tasks after a task completes, even if others failed in the same reapchildren().

7263: Updates reapchildren to perform API query for new tasks in batches

Conflicts:
sdk/cli/bin/crunch-job

closes #7399
Merge branch '7399-log-throttling'

7399: do not handle crunchstat stderr partial line segments in this story.

7399: use regexp to look for partial line segments.

Merge branch '8099-babysit-all-srun' closes #8099

Merge branch 'master' into 8099-babysit-all-srun

Conflicts:
sdk/cli/bin/crunch-job

8099: Remove duplicated line

Merge branch '8343-cgroup-root' closes #8343

8343: Allow overriding -cgroup-root=/sys/fs/cgroup via crunch-dispatch run script.

8488: Match line beginnings

Build arvbox instead of the old docker images.

refs #8231

8345: Use a separate vendor/cache for each OS target. See dev.arvados.org/issues/8345#note-11

Remove arvbox from arvados-dev (now in arvados/tools) refs #8231

Merge branch '8231-publish-arvbox' closes #8231

8231: Convert arvbox documentation to textile.  Update root Arvados README to
mention Arvbox.

8231: Fix nginx logging issue

8488: Set docker_outdir to get correct outdir in command line.  Bump cwltool
dependency to get better workflow iteration.

8488: Determine actual output dir from reading logs.  Need to set
$(runtime.outdir) correctly for arvados-cwl-runner.

8373: Expand crunch-job regexp to detect more Keep temporary failures.

Closes #8373.

8231: Move arvbox README into install guide.

Merge branch '8015-crunch2-mount' closes #8015

Add 'tools/arvbox/' from commit 'd3d368758db1f4a9fa5b89f77b5ee61d68ef5b72'

git-subtree-dir: tools/arvbox
git-subtree-mainline: d77bf0c67422a259afacc17660698729328a1ed3
git-subtree-split: d3d368758db1f4a9fa5b89f77b5ee61d68ef5b72

8015: Fix typos in error reporting.  Fix tests.

Merge branch '6605-arv-copy-http' closes #6605

Merge branch 'master' into 8345-llfuse-unpin

7399: added test for partial line segment throttling.

6605: Add --allow-git-http-src and --allow-git-http-dst instead of looking at ARVADOS_API_HOST_INSECURE.

8099: 7263: Merge branch 'hgi/7263-even-better-busy-behavior' of github.com:wtsi-hgi/arvados into 8099-babysit-all-srun

Conflicts:
sdk/cli/bin/crunch-job

Workaround for https://bugs.python.org/issue7980. No issue #

Docs: Fix typo in run-command foreach example.

Reported in IRC.  No issue #.

8371, 8413: Bump Rails package iteration.

Build these bug fixes into new packages.
Closes #8371, #8413.

Merge branch '8413-fix-rails-postinst-chgrp-wip'

Refs #8413.  Closes #8475.

8413: Rails postinst doesn't chgrp root /etc/arvados.

Non-sensitive Rails configuration files can be 0644 root:root.
Porting those permissions is fine for the individual configuration
file, but not the parent directory tree.  Don't change the group of
the directory tree in this case.

Merge branch '8371-centos-postrm-bugfix-wip'

Refs #8371.  Closes #8476.

Merge branch '8437-nodemanager-on-failure' closes #8437

8437: Test all exceptions that should be caught.

Merge branch '8416-node-manager-find-node' closes #8416

8416: Don't catch exception from search_for, potentially hides exceptions we
wanted to see and the original intended behavior of re-raising the original
exception doesn't work anyway, because sys.exc_info is overwritten when the 2nd
exception is caught.

8488: Use OrderedJsonModel so that pipeline components show up in the order they were queued.

8371: Rails postrm only fires after removing last RPM.

This prevents removing the package files when the postrm script is
called for the old version of a package after doing an upgrade.

RPM post- scripts are called with $1 as the number of versions of the
package currently installed on the system.  0 means the last version
has been removed.  We only want to remove files in that case.

8488: Update cwltool pin

8437: Add missing test.

6518: strigger works

6518: Working on using strigger to update job records when crunch-run cannot.

8488: Fix output collection to accomodate reverse mapping fixes in cwltool.
Catch errors and mark pipeline as terminated.

Merge branch 'arvbox-fixes' no issue #

Tweak slurm configuration to run as non-root user.

Tweak slurm configuration to run as non-root user.

Fix arvados-login-sync for vm account creation

Fix arvados-login-sync for vm account creation

Generalize arvbox 'svrestart' to 'sv' no issue #

Generalize arvbox 'svrestart' to 'sv' no issue #

8437: Add FullStopActor which uses os.killpg() to terminate node manager on_failure.  Added test.

closes #5694
Merge branch '5694-running-job-log'

5694: remove the extra white space in log tab display.

8416: Remove find_node and use existing search_for feature.

Merge branch 'master' into 5694-running-job-log

7399: throttle partial segments of long lines to once every "n" seconds

6605: Use git -c instead of "git config" to set credentials.  Refuse to use
insecure http unless ARVADOS_API_HOST_INSECURE is also true.

8488: Update default arvados branch to master

8488: crunchrunner brings certificates with it to ensure that it can
communicate with API server from inside the container.

8488: Set certificate path.

5694: display 2000 historic log lines in running job's Log tab.

Fixes 8508 by creating a bad path explicitly

Rather than assuming we can't write to '/', this change
creates a temporary directory and then refers to a nonexistent
path within it.