Merge branch 'master' into wtsi-hgi-8087-arv-cli-request-body-from-file

Merge branch '8087-arv-cli-request-body-from-file' of https://github.com/wtsi-hgi/arvados into wtsi-hgi-8087-arv-cli-request-body-from-file

refs #8876
Merge branch '8876-work-unit'

8876: Pass work unit to determine_wallclock_runtime, not the original object.

closes #8876
Merge branch '8876-work-unit'

8876: remove show_child_summary and replace it with is_running?

Bugfix submitting cwl jobs with arvados-cwl-runner refs #9275

Merge branch '9275-cwl-runner-creates-jobs' closes #9275

9275: Initial pipeline/job component update from response

8876: when computing cpu and running times, use the work unit's start and finished times if there are no children.

9275: Update the update_pipeline_component method to check if pipeline is null.

8876: Use JobWorkUnit for pipeline components and cleanup.

9275: add record to cwl_runner_job as components

Merge branch '9187-crunchv2-dispatching' closes #9187

Merge branch 'master' into 9187-crunchv2-dispatching

9187: Remove "squeueError" because checkSqueue for a successful squeue run.  Refactor tests a bit and add a test for canceling containers.

8876: add tests for link_to_log and queuedtime etc.

8876: introduce view helper methods such as link_to_log and queuedtime etc so that the views do not have to do too many decisions based on the state of the work unit.

9187: Fix refactoring messup

8876: display "no process has been submitted" when a child uuid is not presented.

Merge branch '9272-use-container-auth'

closes #9272

9272: Skip slow test when running -short tests.

9272: Simplify json decoding with Unmarshal.

9272: Fix up state transitions:

* Change state to Running only at the last possible moment before
  starting the container.

* When erroring out before Running, change state back to Queued.

* Do not save log/output/exit code when changing state to Cancelled.

Incidental fixes:

* Clean up error handling in Run()

* Don't create a collection for (or try to attach to the container)
  the second "cleanup activities" log that gets opened after closing
  the real container log.

9272: Pass container auth info into container if requested.

9272: Get container auth instead of passing the dispatcher token into the container.

9275: create pipeline_instance in submit mode as well and add the runner job to it's components.

9187: Fix comment typo

9187: Add documentation comments to Squeue functions.

9187: Improve squeue synchronization

* Put squeue functions into separate file.

* CheckSqueue() now blocks on a condition variable until the next successful
update of squeue, which then wakes up all goroutines waiting on CheckSqueue().

* Never do anything when squeue returns an error.

* Merge submitting, monitoring, and cleanup behaviors into a single goroutine
which updates based on CheckSqueue() instead of a ticker.

* Introduce a lock on squeue, sbatch and scancel operations, so that on next
wakeup the queue is guaranteed to reflect most recent sbatch/scancel
operations.

Merge branch '9343-no-env-vars'

refs #9343

9343: Do not check env vars when setting up Keep client for pull requests.

8876: success? includes Canceled as well.

8876: move some methods such as log and output from job_work_unit into proxy_work_unit to aid reusability.

8876: child_summary_str checks if total > 0

9187: Slurm dispatcher improvements around squeue

* Clarify that status updates are not guaranteed to be delivered on a
heartbeat.
* Refactor slurm dispatcher to monitor the container in squeue in a separate
goroutine.
* Refactor polling squeue to a single goroutine and cache the results so that
monitoring 100 containers doesn't result in 100 calls to squeue.
* No longer set up strigger to cancel job on finish, instead cancel running
jobs not in squeue.
* Test both cases where a job is/is not in squeue.

Merge branch 'master' into 8876-work-unit

Merge branch '9309-centos-7-packages-wip'

Refs #9309.  Closes #9313.

9309: Add packages and tests for CentOS 7.

9309: Look for fpm-info in backports/$PACKAGE_NAME.

This lets us define additional fpm flags when we build a non-dir
package from a source directory.

9242: Restore newer backported versions of Python packages.

I accidentally reverted this in 758d39f.
Refs #9242.

9242: Update Python module paths for CentOS 6.

I am more sure that this is correct, based on multiple data points
from Python 2 and 3 packages across CentOS 6 and 7.
This might be a change that's fallout from
44ceaa474a330f12dd9e00115af107d7258044f2.
Refs #9242.

Merge branch '9162-keep-balance'

closes #9162

9162: Add replication level histogram

Ported from 00a8ece1580a894dbbf9f756685eefc134e4d0d6 by jrandall

9162: Add keep-balance

Merge branch '9242-python-backport-prefix-wip'

Closes #9242, #9247.

9242: Python packages install libraries to the distro path.

This avoids breaking dependent packages that expect to find files in
the same place.

8876: typo in fixture

8876: correct the job_reader2 fixture

8876: improve jobs_with_components test to have components that can be un/read

Merge branch 'master' into 8876-work-unit

9242: Refactor Python constant definitions in r-b-p.

There are about to be more of them, which will make this a real space
savings.

9316: Include documentation in CWL SDK.

This is necessary to make pip distributions installable, since
setup.py tries to open README.rst.  Closes #9316.

8876: For jobs also, compute progress from it's children if present; otherwise, use task_summary.

Fix centos6 package build (ruamel.yaml package building arguments for fpm).

No issue #

Update Software Collections package name in Install Guide.

Follows up previous commit.  No issue #.

Update Software Collections package name in CentOS 6 Dockerfiles.

Why does the name of this package keep changing?
It is a mystery.
No issue #.

8959: Remove redundant python-gflags fpm-info.sh.

I added this file in 495a485ff.  Later, Nico pinned the version in
run-build-packages, in a8bbf6ef, to try to fix #8959.  However, odds
are that #8959 was an ops problem, and not a package building problem:
the gflags 3.0 packages were still published on our repository, and
needed to be removed there.

Having both files causes trouble when you're building backports from
scratch.  We haven't noticed because Jenkins never does that.  But
I'm working on new packages and getting:

    Loading fpm overrides from /arvados/backports/python-gflags/fpm-info.sh

    fpm --maintainer=Ward Vandewege <ward@curoverse.com> -s python -t rpm --exclude=*/dist-packages/tests/* --exclude=*/site-packages/tests/* --verbose --log info -n python-gflags --iteration 1 --python-bin python2.7 --python-easyinstall easy_install-2.7 --python-package-name-prefix python --depends python -v 2.0 python-gflags==2.0

    Error: python-gflags==2.0: Unable to figure out package name from fpm results:

    {:timestamp=>"2016-05-27T22:20:53.045329+0000", :message=>"Setting workdir", :workdir=>"/tmp", :level=>:info} {:timestamp=>"2016-05-27T22:20:53.049435+0000", :message=>"Trying to download", :package=>"python-gflags==2.0", :level=>:info} {:timestamp=>"2016-05-27T22:20:53.122897+0000", :message=>"error: Not a URL, existing file, or requirement spec: 'python-gflags==2.0==2.0'", :level=>:info} {:timestamp=>"2016-05-27T22:20:53.130325+0000", :message=>"Process failed: easy_install-2.7 failed (exit code 1). Full command was:[\"easy_install-2.7\", \"-i\", \"https://pypi.python.org/simple\", \"--editable\", \"-U\", \"--build-directory\", \"/tmp/package-python-build20160527-1643-3sl5ec/python-gflags==2.0\", \"python-gflags==2.0==2.0\"]", :level=>:error}

Refs #8959.

Add dependency for ruamel.yaml to the build list.

No issue #

Fix bug in run-build-packages-one-target.sh: make sure to escape the *
passed to find.

No issue #

9187: Check LockedByUUID on container updates and terminate status updates if
not equal to dispatcher token.

8876: remove some job specific bits and make them generic

Merge branch '9272-test-races'

refs #9272

9272: Fix some race conditions in flaky tests.

Arvbox installs binaries for go 1.6 instead of golang Debian package
(which is stuck at 1.3) no issue #

8876: add an integration with job with components.

9187: Refactor dispatcher support into common library and update to use Locking API.

New dispatcher package in Go SDK provides framework for monitoring list of
queued/locked/running containers.  Try to lock containers in the queue; locked
or running containers are passed to RunContainer goroutine supplied by the
specific dispatcher.  Refactor existing dispatchers (-local and -slurm) to use
this framework.  Dispatchers have crash recovery behavior, can put containers
which are unaccounted in cancelled state.

8876: progress bar and strage component display

Package ruamel.yaml, which is a new dependency of schema-salad.

No issue #

Merge branch '9303-actor-dead-dead' refs #9303

9303: Fetch arv_node before trying to shut down node, because monitor actor may
go away once the node has been successfully shut down.  Also handle case of
node_finished_shutdown called after shutdown actor is stopped.

Log watchdog exception refs #9303

Merge branch '9303-kill-nodemanager-on-dead-actor' refs #9303

9303: Watchdog kill node manager on any error

Build distribution packages for the version of python-schema-salad that
python-cwltool now depends on.

refs #8653

Build distribution packages for the version of python-cwltool that
python-arvados-cwl-runner now depends on.

refs #8653

closes #8556
Merge branch '8556-azure-trash'

8556: implement trash/untrash for azure volumes.

8876: work unit views

8876: misplaced divs!

8876: work_unit views in progress

Merge branch 'wtsi-hgi-9231-rename-redunancy-to-replication-desired'

closes #9231

Merge branch '8653-cwl-runner-handle-files' closes #8653

8653: Fix tests.

8653: Use load_tool.fetch_document() instead of Loader() to read raw document.

8653: add cwlVersion so file validate correctly.

8653: Fix pathmapper API

8653: Set basedir for CollectionFsAccess

8653: Update load_tool in cwl-runner crunch script

Renames 'redundancy' to 'replication_desired'

8653: Check that parameters are basestring before matching regex.

8653: Update cwl-runner to match changes in sdk/arvados-cwl-runner

8653: cwl-runner crunch script rewrites keep file paths into CWL File objects.
Clean up argument handling in arvados-cwl-runner so that --create-template
doesn't require a job object, and that --help doesn't present options that are
irrelevant or don't work.

8876: add work_unit to workbench models

Merge branch '9018-nodemanager-kill-instead-of-killpg' closes #9018

9018: Change os.killpg() -> os.kill, don't create new process group.

Merge branch '8236-nodemanager-watchdog' closes #8236

8236: Restore os.killpg().  Create a new process group so that it won't kill
the parent process by accident.  Watchdog process now only monitors specific
actors.

Merge branch '9049-arv-copy-filters-wip'

Closes #9049, #9225.

9049: arv-copy checks and updates pipeline template filters.