Merge branch 'master' into 8766-cwl-collection-project

Conflicts:
sdk/cwl/tests/test_job.py

Build script fix: make sure that run-build-docker-jobs-image.sh always
rebuilds the jobs image when the git commit passed in via --tags
changes.

No issue #

8766: Refactor logic to copy output collection and add tests.

Fix sdk/cwl tests after commit 9df4d7da24ef8be639af1ab806cf833ee544fb45

refs #8426

8766: Port logic from arv-run-pipeline-instance for copy collection to parent
project.

Clean up build/run-build-docker-jobs-image.sh a bit.

No issue #

Merge branch '8747-fix-crash-on-update'

refs #8747

8345: Do not crash when update() called without an obj.

Crunchrunner fix connect os.Stderr to cmd.Stderr & update crunchrunner
collection ref in arvados-cwl-runner refs #8426

More small build script improvements.

No issue #

Build script improvements:

* move some more functions into run-library.sh
* add a wrapper script for our single target package build/test/upload step

No issue #

Enable BaseComputeNodeDriver.list_nodes to pass through keyword arguments.
closes #8761

Merge branch '8002-no-pyvcf-wip'

Closes #8002, #8759.

8002: Stop backporting PyVCF.

Arvados proper doesn't use it.  We only backported it as a convenience
previously.

Merge branch '7852-readline-cache-fix-wip'

Closes #7852, #8755.

7852: Bugfix _filepos tracking in PySDK readline method.

Make sure self._filepos is always in the right position to return
uncached data before another read method could be called, to avoid
inconsistent results when interleaving those calls with readline
calls.

7852: Added one more test "test_readline_then_readall" which does a readline followed by a readall.
This test also fails exactly like the test "test_readline_then_readlines".

7852: add a failing test that does: readline and then readlines. The expectation would be the second call,
readlines, would fetch all the remaining lines after the first line. However, the readlines call is only
fetching the data after the "first block" which was read during the first readline call. It appears that
self._readline_cache and self._filepos are playing a role here, which are set during the first readline.

Fix log scanning for "crunchrunner: $(task.outdir)" performed by arvados cwl
runner.  no issue #

Make the build of the schema_salad packages more quiet.

refs #8671

gofmt. refs #8754

Improve exception reporting for arvados-cwl-runner, no issue #

Build dependencies for arvados-cwl-runner, automatically.

closes #8671

8752: Skip unreliable Python SDK Keep test.

Refs #8752.  See there for more discussion about the circumstances of
failure.

closes #8561
Merge branch '8561-node-pairing'

Merge branch 'master' into 8561-node-pairing

8561: delete redundant "maxDiff = None"

Merge branch '8561-node-pairing' of git.curoverse.com:arvados into 8561-node-pairing

8561: Set ec2_instance_id and cloud_factory().node_id to mock cloud/arvados id
instead of constant '2'.

Node manager bugfix: late subscribers should get proxy() not _later (which is a tell_proxy())
fixes #8691 note-4

Merge branch '8709-docker-cleaner-volumes-wip'

Closes #8709, #8711.

8709: Docker cleaner cleans container volumes.

This prevents a compute node's Docker partition from filling with
scratch space volumes.

Merge branch 'master' into 8561-node-pairing

closes #8554
Merge branch '8554-trash-untrash-unix-volume'

Merge branch 'master' into 8554-trash-untrash-unix-volume

8554: Report Walk errors and continue, instead of stopping silently.

8554: Un-pyramid code

8554: Dedup Get() checks, add comments, fix up regexp.

8561: Fix test_arvados_node_match

Fix backports dir search for PACKAGE="llfuse==0.41.1".

Also, drop "-v 0.41.1" args from fpm-info.sh: cannot specify version
both here and in run-build-packages.sh.

refs #8345

Merge branch '6518-crunch2-dispatch-slurm' closes #6518

6518: Use ARVADOS_API_HOST when checking strigger command line in test.

6518: Add check for sbatch/strigger command line in test.

6518: Add crunch-dispatch-slurm to tests.

Merge branch 'master' into 6518-crunch2-dispatch-slurm

6518: Merge in tests.  Code cleanup around variable naming and comments.

8561: test tweaks

Merge branch '8491-import-build-tools' refs #8491

8491: Add default target "make help"

8554: removed testTrashUntrashWithEmptyTrashGoroutine

Proxy objects held in node manager dict of booting nodes should be regular proxy(), not
tell_proxy(). fixes #8691

8203/8690: crunch-job uses `srun --nodes=1`.

Using `srun --nodelist=[one node]` is not sufficient to ensure that
the command runs on a single node; only that it will at least be
allocated the requested node.  This is documented in the srun man
page, and we've observed additional node allocations in these calls.
When srun allocates additional nodes to the work, this can break later
parsing code in crunch-job.

Prefer --nodes, which sets a hard maximum on the number of nodes used.
We're already using this to run individual tasks (-N1), so it's a
known strategy.  Tested live before pushing.  Refs #8203, #8690.

8561: rather than getting node's ipadd, use it's ec2_instance_id

Fix ineffective test case

No issue #

Merge branch '8079-lookup-token-uuid' closes #8079

8079: Allow where(api_token: foo) and disallow where(api_token: ["contains", "f"])

8079: Tidy up and document current_api_client_is_trusted.

8079: Prevent users from changing their own token UUIDs.

8079: Prevent users from looking up other users' tokens by UUID.

Previous code was allowing any user logging in through a "trusted
client" (typically Workbench) to retrieve the secret token for any
ApiClientAuthorization whose UUID is known.  This won't be acceptable
when Container records start including those UUIDs.

Also added permission for any user to update (e.g., change expiration)
and delete their current token, even if the token wasn't assigned
through a "trusted client".

Really fix cwl-runner tests this time. refs #8673

Fix cwl-runner tests. refs #8673

Merge branch '8673-cwl-runner-project-uuid' closes #8673

8554: test improvements

8554: improved tests

8554: Untrash returns os.ErrNotExist when no trash found for the given locator and other updates.

Fix proxy/tell_proxy usage in _begin_node_shutdown, refs #8678

8673: Fix --project-uuid for arv-keepdocker upload.

8491: Merge branch 'master' into 8491-import-build-tools

8491: 8222: Prohibit activesupport 4.2.6 so our gem can be installed with ruby <2.2.2

8491: Remove git-commit.version before running api server tests

8491: --retry applies to do_install too

8491: move files from arvados-dev into their new places

Add 'build/' from commit '555b039609a3c8700c27767c255fdfe00eb42063'

git-subtree-dir: build
git-subtree-mainline: d1de3281f023bfdbb62a172dec058caf2496224f
git-subtree-split: 555b039609a3c8700c27767c255fdfe00eb42063

Merge branch '8345-llfuse-unpin' refs #8345

8345: Need "yum install -y" to reliably install rpm packages.

8345: 8491: Downgrade to llfuse 0.41 until #8345 gets sorted out (but keep the fuse backports).

8673: Report pipeline instance uuid.  Reuse jobs by default.  Bump cwltool
version dependency.

closes #8558
Merge branch '8558-cwl-propagate-resource-req'

Merge branch 'master' into 8558-cwl-propagate-resource-req

Conflicts:
sdk/cwl/arvados_cwl/__init__.py

8673: Typo fix for --project-uuid.  Refactor main loop locking to address
possible race condition causing workflow to end prematurely.

6518: create sbatch and strigger commands using func declarations so that they can be overridden in tests.

Fix node manager to send ActorProxy instead of TellActorProxy to
ComputeNodeStateChangeBase subscribers.  refs #8543

Get the go binary from a http url instead of https, so that our
transparent proxy can cache it.

No issue #

Build package for arvados-cwl-runner.

refs #8671

8558: when cores not found in resources, use default.

8673: Adding --project-uuid so resources are created in the specified project.

refs #8558
Merge branch '8558-add-cwl-jenkins'

8558: compacted code

8636: Fix ArvPathMapper.reversemap to return a tuple as expected by caller.
Improve job reuse by setting minimum_script_version.  refs #8636

8558: update field names and ensure the tests pass

8558: add cwl to jenkins

Remove duplicate environment variable.

Fixes tests failing after perl security fix.

"Previously on a duplicate, %ENV would have the last entry for the name
from environ[], but a typical getenv() would return the first entry."

refs:
* http://perl5.git.perl.org/perl.git/commitdiff/ae37b791a73a9e78dedb89fb2429d2628cf58076
* https://security-tracker.debian.org/tracker/CVE-2016-2381

No issue #

closes #8508
Merge branch 'wtsi-hgi-8508-datamanager-test-badpaths'

8508: go fmt

8554: Add EmptyTrash api to Volume and implementation in volume_unix. Add emptyTrash goroutine.

Merge branch '8543-nodemanager-fewer-futures' closes #8543

8543: Implement TellActorProxy which uses Actor.tell() instead of Actor.ask().
Implement BaseNodeMangerActor and TellableActorRef to provide tell_proxy().
Convert proxies in Node Manager that don't return Futures to use
TellActorProxy.

Merge branch '8439-gitolite-nonff-perms-wip'

Closes #8439, #8525.

8439: API server suggests RW+ Gitolite permissions for writers.

This lets users with write permission do non-fast-forward pushes.

8558: Add test case for running ArvadosCommandTool