8079: Tidy up and document current_api_client_is_trusted.

8079: Prevent users from changing their own token UUIDs.

8079: Prevent users from looking up other users' tokens by UUID.

Previous code was allowing any user logging in through a "trusted
client" (typically Workbench) to retrieve the secret token for any
ApiClientAuthorization whose UUID is known.  This won't be acceptable
when Container records start including those UUIDs.

Also added permission for any user to update (e.g., change expiration)
and delete their current token, even if the token wasn't assigned
through a "trusted client".

Really fix cwl-runner tests this time. refs #8673

Fix cwl-runner tests. refs #8673

Merge branch '8673-cwl-runner-project-uuid' closes #8673

Fix proxy/tell_proxy usage in _begin_node_shutdown, refs #8678

8673: Fix --project-uuid for arv-keepdocker upload.

8673: Report pipeline instance uuid.  Reuse jobs by default.  Bump cwltool
version dependency.

closes #8558
Merge branch '8558-cwl-propagate-resource-req'

Merge branch 'master' into 8558-cwl-propagate-resource-req

Conflicts:
sdk/cwl/arvados_cwl/__init__.py

8673: Typo fix for --project-uuid.  Refactor main loop locking to address
possible race condition causing workflow to end prematurely.

Fix node manager to send ActorProxy instead of TellActorProxy to
ComputeNodeStateChangeBase subscribers.  refs #8543

8558: when cores not found in resources, use default.

8673: Adding --project-uuid so resources are created in the specified project.

8558: compacted code

8636: Fix ArvPathMapper.reversemap to return a tuple as expected by caller.
Improve job reuse by setting minimum_script_version.  refs #8636

8558: update field names and ensure the tests pass

Remove duplicate environment variable.

Fixes tests failing after perl security fix.

"Previously on a duplicate, %ENV would have the last entry for the name
from environ[], but a typical getenv() would return the first entry."

refs:
* http://perl5.git.perl.org/perl.git/commitdiff/ae37b791a73a9e78dedb89fb2429d2628cf58076
* https://security-tracker.debian.org/tracker/CVE-2016-2381

No issue #

closes #8508
Merge branch 'wtsi-hgi-8508-datamanager-test-badpaths'

8508: go fmt

Merge branch '8543-nodemanager-fewer-futures' closes #8543

8543: Implement TellActorProxy which uses Actor.tell() instead of Actor.ask().
Implement BaseNodeMangerActor and TellableActorRef to provide tell_proxy().
Convert proxies in Node Manager that don't return Futures to use
TellActorProxy.

Merge branch '8439-gitolite-nonff-perms-wip'

Closes #8439, #8525.

8439: API server suggests RW+ Gitolite permissions for writers.

This lets users with write permission do non-fast-forward pushes.

8558: Add test case for running ArvadosCommandTool

Fix crunch-run tests to pass reliably. refs #8015

8558: include min_scratch_mb_per_node in the keys propagated

Merge branch 'master' into 8558-cwl-propagate-resource-req

CWL test select config, refs #8558

Bugfix for CWL conformance test script, refs #8558

Self test script for running CWL conformance tests on arvados-cwl-runner
against Arvados arvbox instance. refs #8558

Rename arvbox command 'reboot' to 'rebuild' no issue #

arvbox "ready" script correctly waits for all sdk packages to be ready. no issue #

Add arvados-cwl-runner to arvbox sdk install script. no issue #

Arvbox improvements: add "pipe", "cat", "ls".  Report both container IP address
and published arvbox host.  Update install page with new commands.  no issue #

8558: add min_cores_per_node and min_ram_mb_per_node to runtime_constraints from builder resources

closes #8497
Merge branch 'wtsi-hgi-8497-datamanager-batchsize-1000'

Merge branch '8497-datamanager-batchsize-1000' of https://github.com/wtsi-hgi/arvados into wtsi-hgi-8497-datamanager-batchsize-1000

makes -collection-batch-size an option as requested by @rchippada

Merge branch '8620-better-README' closes #8620

Merge branch '8488-cwl-crunchrunner-collection' closes #8488

8620: Add note about arvbox publicdemo mode and link to Hacking page.

8620: Remove unnecessary "Arvados" header.

8620: Link to Hacking Arvados page under Development.

8620: Crunch is a cluster and HPC workflow engine.

8620: Add link to cloud.curoverse.com, and mention using arvbox for development
testing.

Merge branch '8508-datamanager-test-badpaths' of https://github.com/wtsi-hgi/arvados into wtsi-hgi-8508-datamanager-test-badpaths

8620: Better onramp in README.md so people visiting Github page for Arvados get
a sense of what it's about and can try out arvbox.

Add git clone to arvbox quickstart doc.  refs #8230

8488: Fix reverse mapping for references to input files from keep.

Merge branch '7263-batch-task-lookup' closes #7263

7263: Let arvados library do the json encoding.

7263: Check new tasks after a task completes, even if others failed in the same reapchildren().

7263: Updates reapchildren to perform API query for new tasks in batches

Conflicts:
sdk/cli/bin/crunch-job

closes #7399
Merge branch '7399-log-throttling'

7399: do not handle crunchstat stderr partial line segments in this story.

7399: use regexp to look for partial line segments.

Merge branch '8099-babysit-all-srun' closes #8099

Merge branch 'master' into 8099-babysit-all-srun

Conflicts:
sdk/cli/bin/crunch-job

8099: Remove duplicated line

Merge branch '8343-cgroup-root' closes #8343

8343: Allow overriding -cgroup-root=/sys/fs/cgroup via crunch-dispatch run script.

8488: Match line beginnings

Merge branch '8231-publish-arvbox' closes #8231

8231: Convert arvbox documentation to textile.  Update root Arvados README to
mention Arvbox.

8231: Fix nginx logging issue

8488: Set docker_outdir to get correct outdir in command line.  Bump cwltool
dependency to get better workflow iteration.

8488: Determine actual output dir from reading logs.  Need to set
$(runtime.outdir) correctly for arvados-cwl-runner.

8373: Expand crunch-job regexp to detect more Keep temporary failures.

Closes #8373.

8231: Move arvbox README into install guide.

Merge branch '8015-crunch2-mount' closes #8015

Add 'tools/arvbox/' from commit 'd3d368758db1f4a9fa5b89f77b5ee61d68ef5b72'

git-subtree-dir: tools/arvbox
git-subtree-mainline: d77bf0c67422a259afacc17660698729328a1ed3
git-subtree-split: d3d368758db1f4a9fa5b89f77b5ee61d68ef5b72

8015: Fix typos in error reporting.  Fix tests.

Merge branch '6605-arv-copy-http' closes #6605

7399: added test for partial line segment throttling.

6605: Add --allow-git-http-src and --allow-git-http-dst instead of looking at ARVADOS_API_HOST_INSECURE.

8099: 7263: Merge branch 'hgi/7263-even-better-busy-behavior' of github.com:wtsi-hgi/arvados into 8099-babysit-all-srun

Conflicts:
sdk/cli/bin/crunch-job

Workaround for https://bugs.python.org/issue7980. No issue #

Docs: Fix typo in run-command foreach example.

Reported in IRC.  No issue #.

Merge branch '8437-nodemanager-on-failure' closes #8437

8437: Test all exceptions that should be caught.

Merge branch '8416-node-manager-find-node' closes #8416

8416: Don't catch exception from search_for, potentially hides exceptions we
wanted to see and the original intended behavior of re-raising the original
exception doesn't work anyway, because sys.exc_info is overwritten when the 2nd
exception is caught.

8488: Use OrderedJsonModel so that pipeline components show up in the order they were queued.

8488: Update cwltool pin

8437: Add missing test.

8488: Fix output collection to accomodate reverse mapping fixes in cwltool.
Catch errors and mark pipeline as terminated.

Tweak slurm configuration to run as non-root user.

Fix arvados-login-sync for vm account creation

Generalize arvbox 'svrestart' to 'sv' no issue #

8437: Add FullStopActor which uses os.killpg() to terminate node manager on_failure.  Added test.

closes #5694
Merge branch '5694-running-job-log'

5694: remove the extra white space in log tab display.

8416: Remove find_node and use existing search_for feature.

Merge branch 'master' into 5694-running-job-log

7399: throttle partial segments of long lines to once every "n" seconds

6605: Use git -c instead of "git config" to set credentials.  Refuse to use
insecure http unless ARVADOS_API_HOST_INSECURE is also true.

8488: Update default arvados branch to master

8488: crunchrunner brings certificates with it to ensure that it can
communicate with API server from inside the container.