Merge branch 'master' into 6518-crunch2-dispatch-slurm

6518: Merge in tests.  Code cleanup around variable naming and comments.

Merge branch '8491-import-build-tools' refs #8491

8491: Add default target "make help"

Proxy objects held in node manager dict of booting nodes should be regular proxy(), not
tell_proxy(). fixes #8691

8203/8690: crunch-job uses `srun --nodes=1`.

Using `srun --nodelist=[one node]` is not sufficient to ensure that
the command runs on a single node; only that it will at least be
allocated the requested node.  This is documented in the srun man
page, and we've observed additional node allocations in these calls.
When srun allocates additional nodes to the work, this can break later
parsing code in crunch-job.

Prefer --nodes, which sets a hard maximum on the number of nodes used.
We're already using this to run individual tasks (-N1), so it's a
known strategy.  Tested live before pushing.  Refs #8203, #8690.

Fix ineffective test case

No issue #

Merge branch '8079-lookup-token-uuid' closes #8079

8079: Allow where(api_token: foo) and disallow where(api_token: ["contains", "f"])

8079: Tidy up and document current_api_client_is_trusted.

8079: Prevent users from changing their own token UUIDs.

8079: Prevent users from looking up other users' tokens by UUID.

Previous code was allowing any user logging in through a "trusted
client" (typically Workbench) to retrieve the secret token for any
ApiClientAuthorization whose UUID is known.  This won't be acceptable
when Container records start including those UUIDs.

Also added permission for any user to update (e.g., change expiration)
and delete their current token, even if the token wasn't assigned
through a "trusted client".

Really fix cwl-runner tests this time. refs #8673

Fix cwl-runner tests. refs #8673

Merge branch '8673-cwl-runner-project-uuid' closes #8673

Fix proxy/tell_proxy usage in _begin_node_shutdown, refs #8678

8673: Fix --project-uuid for arv-keepdocker upload.

8491: Merge branch 'master' into 8491-import-build-tools

8491: 8222: Prohibit activesupport 4.2.6 so our gem can be installed with ruby <2.2.2

8491: Remove git-commit.version before running api server tests

8491: --retry applies to do_install too

8491: move files from arvados-dev into their new places

Add 'build/' from commit '555b039609a3c8700c27767c255fdfe00eb42063'

git-subtree-dir: build
git-subtree-mainline: d1de3281f023bfdbb62a172dec058caf2496224f
git-subtree-split: 555b039609a3c8700c27767c255fdfe00eb42063

Merge branch '8345-llfuse-unpin' refs #8345

8345: Need "yum install -y" to reliably install rpm packages.

8345: 8491: Downgrade to llfuse 0.41 until #8345 gets sorted out (but keep the fuse backports).

8673: Report pipeline instance uuid.  Reuse jobs by default.  Bump cwltool
version dependency.

closes #8558
Merge branch '8558-cwl-propagate-resource-req'

Merge branch 'master' into 8558-cwl-propagate-resource-req

Conflicts:
sdk/cwl/arvados_cwl/__init__.py

8673: Typo fix for --project-uuid.  Refactor main loop locking to address
possible race condition causing workflow to end prematurely.

6518: create sbatch and strigger commands using func declarations so that they can be overridden in tests.

Fix node manager to send ActorProxy instead of TellActorProxy to
ComputeNodeStateChangeBase subscribers.  refs #8543

Get the go binary from a http url instead of https, so that our
transparent proxy can cache it.

No issue #

Build package for arvados-cwl-runner.

refs #8671

8558: when cores not found in resources, use default.

8673: Adding --project-uuid so resources are created in the specified project.

refs #8558
Merge branch '8558-add-cwl-jenkins'

8558: compacted code

8636: Fix ArvPathMapper.reversemap to return a tuple as expected by caller.
Improve job reuse by setting minimum_script_version.  refs #8636

8558: update field names and ensure the tests pass

8558: add cwl to jenkins

Remove duplicate environment variable.

Fixes tests failing after perl security fix.

"Previously on a duplicate, %ENV would have the last entry for the name
from environ[], but a typical getenv() would return the first entry."

refs:
* http://perl5.git.perl.org/perl.git/commitdiff/ae37b791a73a9e78dedb89fb2429d2628cf58076
* https://security-tracker.debian.org/tracker/CVE-2016-2381

No issue #

closes #8508
Merge branch 'wtsi-hgi-8508-datamanager-test-badpaths'

8508: go fmt

Merge branch '8543-nodemanager-fewer-futures' closes #8543

8543: Implement TellActorProxy which uses Actor.tell() instead of Actor.ask().
Implement BaseNodeMangerActor and TellableActorRef to provide tell_proxy().
Convert proxies in Node Manager that don't return Futures to use
TellActorProxy.

Merge branch '8439-gitolite-nonff-perms-wip'

Closes #8439, #8525.

8439: API server suggests RW+ Gitolite permissions for writers.

This lets users with write permission do non-fast-forward pushes.

8558: Add test case for running ArvadosCommandTool

8345: Uninstall old llfuse from reused virtualenv, if necessary.

8345: Merge branch 'master' into 8345-llfuse-unpin

8345: Fix up log messages to show which distro/package is being built/tested.

8345: Build contextlib2 backport, needed by python-llfuse on debian7.

Fix crunch-run tests to pass reliably. refs #8015

8558: include min_scratch_mb_per_node in the keys propagated

Merge branch 'master' into 8558-cwl-propagate-resource-req

CWL test select config, refs #8558

Bugfix for CWL conformance test script, refs #8558

Self test script for running CWL conformance tests on arvados-cwl-runner
against Arvados arvbox instance. refs #8558

Rename arvbox command 'reboot' to 'rebuild' no issue #

arvbox "ready" script correctly waits for all sdk packages to be ready. no issue #

Add arvados-cwl-runner to arvbox sdk install script. no issue #

Arvbox improvements: add "pipe", "cat", "ls".  Report both container IP address
and published arvbox host.  Update install page with new commands.  no issue #

8558: add min_cores_per_node and min_ram_mb_per_node to runtime_constraints from builder resources

closes #8497
Merge branch 'wtsi-hgi-8497-datamanager-batchsize-1000'

Merge branch '8497-datamanager-batchsize-1000' of https://github.com/wtsi-hgi/arvados into wtsi-hgi-8497-datamanager-batchsize-1000

makes -collection-batch-size an option as requested by @rchippada

Merge branch '8620-better-README' closes #8620

Merge branch '8488-cwl-crunchrunner-collection' closes #8488

8345: Add build-essential to ubuntu1204 package-building image

8620: Add note about arvbox publicdemo mode and link to Hacking page.

8620: Remove unnecessary "Arvados" header.

8620: Link to Hacking Arvados page under Development.

8620: Crunch is a cluster and HPC workflow engine.

8620: Add link to cloud.curoverse.com, and mention using arvbox for development
testing.

Merge branch '8508-datamanager-test-badpaths' of https://github.com/wtsi-hgi/arvados into wtsi-hgi-8508-datamanager-test-badpaths

8620: Better onramp in README.md so people visiting Github page for Arvados get
a sense of what it's about and can try out arvbox.

Add git clone to arvbox quickstart doc.  refs #8230

8488: Fix reverse mapping for references to input files from keep.

8345: Build and install new fuse libs before building llfuse.

Merge branch '7263-batch-task-lookup' closes #7263

7263: Let arvados library do the json encoding.

7263: Check new tasks after a task completes, even if others failed in the same reapchildren().

7263: Updates reapchildren to perform API query for new tasks in batches

Conflicts:
sdk/cli/bin/crunch-job

closes #7399
Merge branch '7399-log-throttling'

7399: do not handle crunchstat stderr partial line segments in this story.

7399: use regexp to look for partial line segments.

Merge branch '8099-babysit-all-srun' closes #8099

Merge branch 'master' into 8099-babysit-all-srun

Conflicts:
sdk/cli/bin/crunch-job

8099: Remove duplicated line

Merge branch '8343-cgroup-root' closes #8343

8343: Allow overriding -cgroup-root=/sys/fs/cgroup via crunch-dispatch run script.

8488: Match line beginnings

Build arvbox instead of the old docker images.

refs #8231

8345: Use a separate vendor/cache for each OS target. See dev.arvados.org/issues/8345#note-11

Remove arvbox from arvados-dev (now in arvados/tools) refs #8231

Merge branch '8231-publish-arvbox' closes #8231

8231: Convert arvbox documentation to textile.  Update root Arvados README to
mention Arvbox.

8231: Fix nginx logging issue

8488: Set docker_outdir to get correct outdir in command line.  Bump cwltool
dependency to get better workflow iteration.