9408: Added apt-get flag to avoid installing 'Recommended:' packages, it's better to have an explicit dependency list. Also, added bzip2 that was being pulled implicitly and it's needed.

closes #9274
Merge branch '9274-requesting-container-uuid'

Merge branch '9370-crunch2-packages-wip'

Closes #9370, #9382.

9370: Package Crunch v2 dispatch services.

9370: Alphabetize the package_go_binary list.

bumped the selenium driver version to 2.53.1 to see if we can manage our way out failed builds

no issue #

9309: Bugfix Ruby source install instructions for CentOS.

* Add missing `make` dependency.
* Add `-i` to `sudo gem install` throughout.  Red Hat adds /usr/local
  paths to $PATH in `/etc/profile`, so we need `-i` to find `gem`.

Refs #9309.

refs #9318
Merge branch '9318-dashboard-uses-work-units'

9318: fixed outputs display issue where "outpus: []" is being shown when there are no outputs.

9274: while creating a ContainerRequest, set requesting_container_uuid based on the token.

closes #9318, closes #8650
Merge branch '9318-dashboard-uses-work-units'

Merge branch 'master' into 9318-dashboard-uses-work-units

9187: Add priorities to crunch-dispatch-local test containers.

This is necessary to keep the tests working after
2c4ff054b533c62ecdb269963d3ab0af20d2df8b.
Otherwise, crunch-dispatch-local declines to do anything with them.
Refs #9187.

Merge branch '9187-requeued-containers' closes #9187

9187: Add comments.

9318: Update the compute node status pane to make sure the Details option is only offered when there are any active nodes.

Merge branch 'master' into 9318-dashboard-uses-work-units

9318: remove :output method in favor of :outputs method and correct the logic for various object models.

Merge branch '9278-expiring-collections'

refs #9278

9278: Ensure locator signatures expire no later than expires_at.

9278: Expose expires_at in API response.

9278: Set expires_at=now if a client sets it to a time in the past.

The definition of "now" in the default collection scope changes from
current_timestamp (time the current transaction started) to
statement_timestamp() (time the current statement started) so a test
case can expire a collection and then confirm that it is not in the
default scope, all within a single test transaction.

Merge branch '9309-postgresql-install-guide-wip'

Refs #9309.  Closes #9367.

9309: Separate PostgreSQL setup page in Install Guide.

This provides us with a few benefits:

* We have a place to discuss the different deployment options
  installers have around PostgreSQL.
* PostgreSQL setup is very distro-specific (and it's going to get
  worse when we add CentOS 7), so this can take some of that noise out
  of the Rails server install guides.
* People who want to try new things, like cloud database services,
  get a clearer separation of the install process and the database
  setup process.

9187: Don't try to take lock on containers with priority 0.

9187: If a container is reported Queued, but we are monitoring it, stop monitoring it.

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

8650: test and fixture update

Merge branch 'master' into 8650-container-work-unit

closes #8087
Merge branch 'wtsi-hgi-8087-arv-cli-request-body-from-file'

Merge branch 'master' into wtsi-hgi-8087-arv-cli-request-body-from-file

Merge branch '8087-arv-cli-request-body-from-file' of https://github.com/wtsi-hgi/arvados into wtsi-hgi-8087-arv-cli-request-body-from-file

Merge branch 'master' into 9318-dashboard-uses-work-units

refs #8876
Merge branch '8876-work-unit'

8876: Pass work unit to determine_wallclock_runtime, not the original object.

Merge branch 'master' into 9318-dashboard-uses-work-units

closes #8876
Merge branch '8876-work-unit'

8876: remove show_child_summary and replace it with is_running?

Bugfix submitting cwl jobs with arvados-cwl-runner refs #9275

Merge branch '9275-cwl-runner-creates-jobs' closes #9275

9275: Initial pipeline/job component update from response

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: when computing cpu and running times, use the work unit's start and finished times if there are no children.

9318: running and finished containers and fixtures updated.

9275: Update the update_pipeline_component method to check if pipeline is null.

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

Conflicts:
apps/workbench/app/models/proxy_work_unit.rb

8650: some more methods in ContainerWorkUnit

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: Use JobWorkUnit for pipeline components and cleanup.

9275: add record to cwl_runner_job as components

Merge branch '9187-crunchv2-dispatching' closes #9187

Merge branch 'master' into 9187-crunchv2-dispatching

9187: Remove "squeueError" because checkSqueue for a successful squeue run.  Refactor tests a bit and add a test for canceling containers.

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

Conflicts:
apps/workbench/app/views/work_unit/_progress.html.erb
apps/workbench/test/unit/work_unit_test.rb

Merge branch '8876-work-unit' into 8650-container-work-unit

Conflicts:
apps/workbench/test/unit/work_unit_test.rb

8876: add tests for link_to_log and queuedtime etc.

8876: introduce view helper methods such as link_to_log and queuedtime etc so that the views do not have to do too many decisions based on the state of the work unit.

9187: Fix refactoring messup

8876: display "no process has been submitted" when a child uuid is not presented.

Merge branch '9272-use-container-auth'

closes #9272

9272: Skip slow test when running -short tests.

9272: Simplify json decoding with Unmarshal.

9272: Fix up state transitions:

* Change state to Running only at the last possible moment before
  starting the container.

* When erroring out before Running, change state back to Queued.

* Do not save log/output/exit code when changing state to Cancelled.

Incidental fixes:

* Clean up error handling in Run()

* Don't create a collection for (or try to attach to the container)
  the second "cleanup activities" log that gets opened after closing
  the real container log.

9272: Pass container auth info into container if requested.

9272: Get container auth instead of passing the dispatcher token into the container.

9275: create pipeline_instance in submit mode as well and add the runner job to it's components.

9318: Compute node summary pane includes queued and locked containers.

9187: Fix comment typo

9187: Add documentation comments to Squeue functions.

9187: Improve squeue synchronization

* Put squeue functions into separate file.

* CheckSqueue() now blocks on a condition variable until the next successful
update of squeue, which then wakes up all goroutines waiting on CheckSqueue().

* Never do anything when squeue returns an error.

* Merge submitting, monitoring, and cleanup behaviors into a single goroutine
which updates based on CheckSqueue() instead of a ticker.

* Introduce a lock on squeue, sbatch and scancel operations, so that on next
wakeup the queue is guaranteed to reflect most recent sbatch/scancel
operations.

9318: "Active" and "Recently finished" panes in dashboard are updated to use work_unit interface.

Merge branch '9343-no-env-vars'

refs #9343

9343: Do not check env vars when setting up Keep client for pull requests.

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: success? includes Canceled as well.

8650: add children to container_work_unit

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: move some methods such as log and output from job_work_unit into proxy_work_unit to aid reusability.

8650: add container_work_unit

8876: child_summary_str checks if total > 0

9187: Slurm dispatcher improvements around squeue

* Clarify that status updates are not guaranteed to be delivered on a
heartbeat.
* Refactor slurm dispatcher to monitor the container in squeue in a separate
goroutine.
* Refactor polling squeue to a single goroutine and cache the results so that
monitoring 100 containers doesn't result in 100 calls to squeue.
* No longer set up strigger to cancel job on finish, instead cancel running
jobs not in squeue.
* Test both cases where a job is/is not in squeue.

Merge branch 'master' into 8876-work-unit

Merge branch '9309-centos-7-packages-wip'

Refs #9309.  Closes #9313.

9309: Add packages and tests for CentOS 7.

9309: Look for fpm-info in backports/$PACKAGE_NAME.

This lets us define additional fpm flags when we build a non-dir
package from a source directory.

9242: Restore newer backported versions of Python packages.

I accidentally reverted this in 758d39f.
Refs #9242.

9242: Update Python module paths for CentOS 6.

I am more sure that this is correct, based on multiple data points
from Python 2 and 3 packages across CentOS 6 and 7.
This might be a change that's fallout from
44ceaa474a330f12dd9e00115af107d7258044f2.
Refs #9242.

Merge branch '9162-keep-balance'

closes #9162

9162: Add replication level histogram

Ported from 00a8ece1580a894dbbf9f756685eefc134e4d0d6 by jrandall

9162: Add keep-balance

Merge branch '9242-python-backport-prefix-wip'

Closes #9242, #9247.

9242: Python packages install libraries to the distro path.

This avoids breaking dependent packages that expect to find files in
the same place.

8876: typo in fixture

8876: correct the job_reader2 fixture

8876: improve jobs_with_components test to have components that can be un/read

Merge branch 'master' into 8876-work-unit

9242: Refactor Python constant definitions in r-b-p.

There are about to be more of them, which will make this a real space
savings.

9316: Include documentation in CWL SDK.

This is necessary to make pip distributions installable, since
setup.py tries to open README.rst.  Closes #9316.

8876: For jobs also, compute progress from it's children if present; otherwise, use task_summary.