9370: Package Crunch v2 dispatch services.

9370: Alphabetize the package_go_binary list.

closes #9318, closes #8650
Merge branch '9318-dashboard-uses-work-units'

Merge branch 'master' into 9318-dashboard-uses-work-units

9187: Add priorities to crunch-dispatch-local test containers.

This is necessary to keep the tests working after
2c4ff054b533c62ecdb269963d3ab0af20d2df8b.
Otherwise, crunch-dispatch-local declines to do anything with them.
Refs #9187.

Merge branch '9187-requeued-containers' closes #9187

9187: Add comments.

9318: Update the compute node status pane to make sure the Details option is only offered when there are any active nodes.

Merge branch 'master' into 9318-dashboard-uses-work-units

9318: remove :output method in favor of :outputs method and correct the logic for various object models.

Merge branch '9278-expiring-collections'

refs #9278

9278: Ensure locator signatures expire no later than expires_at.

9278: Expose expires_at in API response.

9278: Set expires_at=now if a client sets it to a time in the past.

The definition of "now" in the default collection scope changes from
current_timestamp (time the current transaction started) to
statement_timestamp() (time the current statement started) so a test
case can expire a collection and then confirm that it is not in the
default scope, all within a single test transaction.

Merge branch '9309-postgresql-install-guide-wip'

Refs #9309.  Closes #9367.

9309: Separate PostgreSQL setup page in Install Guide.

This provides us with a few benefits:

* We have a place to discuss the different deployment options
  installers have around PostgreSQL.
* PostgreSQL setup is very distro-specific (and it's going to get
  worse when we add CentOS 7), so this can take some of that noise out
  of the Rails server install guides.
* People who want to try new things, like cloud database services,
  get a clearer separation of the install process and the database
  setup process.

9187: Don't try to take lock on containers with priority 0.

9187: If a container is reported Queued, but we are monitoring it, stop monitoring it.

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

8650: test and fixture update

Merge branch 'master' into 8650-container-work-unit

closes #8087
Merge branch 'wtsi-hgi-8087-arv-cli-request-body-from-file'

Merge branch 'master' into wtsi-hgi-8087-arv-cli-request-body-from-file

Merge branch '8087-arv-cli-request-body-from-file' of https://github.com/wtsi-hgi/arvados into wtsi-hgi-8087-arv-cli-request-body-from-file

Merge branch 'master' into 9318-dashboard-uses-work-units

refs #8876
Merge branch '8876-work-unit'

8876: Pass work unit to determine_wallclock_runtime, not the original object.

Merge branch 'master' into 9318-dashboard-uses-work-units

closes #8876
Merge branch '8876-work-unit'

8876: remove show_child_summary and replace it with is_running?

Bugfix submitting cwl jobs with arvados-cwl-runner refs #9275

Merge branch '9275-cwl-runner-creates-jobs' closes #9275

9275: Initial pipeline/job component update from response

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: when computing cpu and running times, use the work unit's start and finished times if there are no children.

9318: running and finished containers and fixtures updated.

9275: Update the update_pipeline_component method to check if pipeline is null.

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

Conflicts:
apps/workbench/app/models/proxy_work_unit.rb

8650: some more methods in ContainerWorkUnit

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: Use JobWorkUnit for pipeline components and cleanup.

9275: add record to cwl_runner_job as components

Merge branch '9187-crunchv2-dispatching' closes #9187

Merge branch 'master' into 9187-crunchv2-dispatching

9187: Remove "squeueError" because checkSqueue for a successful squeue run.  Refactor tests a bit and add a test for canceling containers.

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

Conflicts:
apps/workbench/app/views/work_unit/_progress.html.erb
apps/workbench/test/unit/work_unit_test.rb

Merge branch '8876-work-unit' into 8650-container-work-unit

Conflicts:
apps/workbench/test/unit/work_unit_test.rb

8876: add tests for link_to_log and queuedtime etc.

8876: introduce view helper methods such as link_to_log and queuedtime etc so that the views do not have to do too many decisions based on the state of the work unit.

9187: Fix refactoring messup

8876: display "no process has been submitted" when a child uuid is not presented.

Merge branch '9272-use-container-auth'

closes #9272

9272: Skip slow test when running -short tests.

9272: Simplify json decoding with Unmarshal.

9272: Fix up state transitions:

* Change state to Running only at the last possible moment before
  starting the container.

* When erroring out before Running, change state back to Queued.

* Do not save log/output/exit code when changing state to Cancelled.

Incidental fixes:

* Clean up error handling in Run()

* Don't create a collection for (or try to attach to the container)
  the second "cleanup activities" log that gets opened after closing
  the real container log.

9272: Pass container auth info into container if requested.

9272: Get container auth instead of passing the dispatcher token into the container.

9275: create pipeline_instance in submit mode as well and add the runner job to it's components.

9318: Compute node summary pane includes queued and locked containers.

9187: Fix comment typo

9187: Add documentation comments to Squeue functions.

9187: Improve squeue synchronization

* Put squeue functions into separate file.

* CheckSqueue() now blocks on a condition variable until the next successful
update of squeue, which then wakes up all goroutines waiting on CheckSqueue().

* Never do anything when squeue returns an error.

* Merge submitting, monitoring, and cleanup behaviors into a single goroutine
which updates based on CheckSqueue() instead of a ticker.

* Introduce a lock on squeue, sbatch and scancel operations, so that on next
wakeup the queue is guaranteed to reflect most recent sbatch/scancel
operations.

9318: "Active" and "Recently finished" panes in dashboard are updated to use work_unit interface.

Merge branch '9343-no-env-vars'

refs #9343

9343: Do not check env vars when setting up Keep client for pull requests.

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: success? includes Canceled as well.

8650: add children to container_work_unit

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: move some methods such as log and output from job_work_unit into proxy_work_unit to aid reusability.

8650: add container_work_unit

8876: child_summary_str checks if total > 0

9187: Slurm dispatcher improvements around squeue

* Clarify that status updates are not guaranteed to be delivered on a
heartbeat.
* Refactor slurm dispatcher to monitor the container in squeue in a separate
goroutine.
* Refactor polling squeue to a single goroutine and cache the results so that
monitoring 100 containers doesn't result in 100 calls to squeue.
* No longer set up strigger to cancel job on finish, instead cancel running
jobs not in squeue.
* Test both cases where a job is/is not in squeue.

Merge branch 'master' into 8876-work-unit

Merge branch '9309-centos-7-packages-wip'

Refs #9309.  Closes #9313.

9309: Add packages and tests for CentOS 7.

9309: Look for fpm-info in backports/$PACKAGE_NAME.

This lets us define additional fpm flags when we build a non-dir
package from a source directory.

9242: Restore newer backported versions of Python packages.

I accidentally reverted this in 758d39f.
Refs #9242.

9242: Update Python module paths for CentOS 6.

I am more sure that this is correct, based on multiple data points
from Python 2 and 3 packages across CentOS 6 and 7.
This might be a change that's fallout from
44ceaa474a330f12dd9e00115af107d7258044f2.
Refs #9242.

Merge branch '9162-keep-balance'

closes #9162

9162: Add replication level histogram

Ported from 00a8ece1580a894dbbf9f756685eefc134e4d0d6 by jrandall

9162: Add keep-balance

Merge branch '9242-python-backport-prefix-wip'

Closes #9242, #9247.

9242: Python packages install libraries to the distro path.

This avoids breaking dependent packages that expect to find files in
the same place.

8876: typo in fixture

8876: correct the job_reader2 fixture

8876: improve jobs_with_components test to have components that can be un/read

Merge branch 'master' into 8876-work-unit

9242: Refactor Python constant definitions in r-b-p.

There are about to be more of them, which will make this a real space
savings.

9316: Include documentation in CWL SDK.

This is necessary to make pip distributions installable, since
setup.py tries to open README.rst.  Closes #9316.

8876: For jobs also, compute progress from it's children if present; otherwise, use task_summary.

Fix centos6 package build (ruamel.yaml package building arguments for fpm).

No issue #

Update Software Collections package name in Install Guide.

Follows up previous commit.  No issue #.

Update Software Collections package name in CentOS 6 Dockerfiles.

Why does the name of this package keep changing?
It is a mystery.
No issue #.

8959: Remove redundant python-gflags fpm-info.sh.

I added this file in 495a485ff.  Later, Nico pinned the version in
run-build-packages, in a8bbf6ef, to try to fix #8959.  However, odds
are that #8959 was an ops problem, and not a package building problem:
the gflags 3.0 packages were still published on our repository, and
needed to be removed there.

Having both files causes trouble when you're building backports from
scratch.  We haven't noticed because Jenkins never does that.  But
I'm working on new packages and getting:

    Loading fpm overrides from /arvados/backports/python-gflags/fpm-info.sh

    fpm --maintainer=Ward Vandewege <ward@curoverse.com> -s python -t rpm --exclude=*/dist-packages/tests/* --exclude=*/site-packages/tests/* --verbose --log info -n python-gflags --iteration 1 --python-bin python2.7 --python-easyinstall easy_install-2.7 --python-package-name-prefix python --depends python -v 2.0 python-gflags==2.0

    Error: python-gflags==2.0: Unable to figure out package name from fpm results:

    {:timestamp=>"2016-05-27T22:20:53.045329+0000", :message=>"Setting workdir", :workdir=>"/tmp", :level=>:info} {:timestamp=>"2016-05-27T22:20:53.049435+0000", :message=>"Trying to download", :package=>"python-gflags==2.0", :level=>:info} {:timestamp=>"2016-05-27T22:20:53.122897+0000", :message=>"error: Not a URL, existing file, or requirement spec: 'python-gflags==2.0==2.0'", :level=>:info} {:timestamp=>"2016-05-27T22:20:53.130325+0000", :message=>"Process failed: easy_install-2.7 failed (exit code 1). Full command was:[\"easy_install-2.7\", \"-i\", \"https://pypi.python.org/simple\", \"--editable\", \"-U\", \"--build-directory\", \"/tmp/package-python-build20160527-1643-3sl5ec/python-gflags==2.0\", \"python-gflags==2.0==2.0\"]", :level=>:error}

Refs #8959.

Add dependency for ruamel.yaml to the build list.

No issue #

Fix bug in run-build-packages-one-target.sh: make sure to escape the *
passed to find.

No issue #

9187: Check LockedByUUID on container updates and terminate status updates if
not equal to dispatcher token.

8876: remove some job specific bits and make them generic