8442: Enable net when API is enabled.

bumped the selenium driver version to 2.53.1 to see if we can manage our way out failed builds

no issue #

9309: Bugfix Ruby source install instructions for CentOS.

* Add missing `make` dependency.
* Add `-i` to `sudo gem install` throughout.  Red Hat adds /usr/local
  paths to $PATH in `/etc/profile`, so we need `-i` to find `gem`.

Refs #9309.

refs #9318
Merge branch '9318-dashboard-uses-work-units'

9318: fixed outputs display issue where "outpus: []" is being shown when there are no outputs.

9274: while creating a ContainerRequest, set requesting_container_uuid based on the token.

9353: Add libcloud.common.BaseHTTPError to CLOUD_ERRORS.

Due to eventual consistency, it seems that calling ex_create_tags() on a node
that has just been created can return "InvalidInstanceID.NotFound" for some
period.  The ec2 driver raises BaseHTTPError when it doesn't recognize a more
specific error, however prior to this commit, this wasn't recognized as a
retryable error, so node manager would fall over.  This commit makes
BaseHTTPError a retryable error.

9388: Record every log id sent and don't send duplicates.

closes #9318, closes #8650
Merge branch '9318-dashboard-uses-work-units'

Merge branch 'master' into 9318-dashboard-uses-work-units

9388: Process each notify individually instead attempting to batch them up.

Prior to this commit, websockets used to try to send log events out in batches,
by getting all logs with an id greater than last log that was sent.
Unfortunately, under concurrent database writes, logs from uncommited
transactions may not appear in the query even if logs with larger ids do
appear.  This results in the uncommitted log never being sent out because
subsequent batch sends would not consider logs prior to the last log id that
was sent (which, in this case, is higher than the log that was missed.)

This commit eliminates the batching behavior.  Because NOTIFY includes the log
id of a specific record that was committed, consider only the log record with
that id and process events in the order that the NOTIFY events arrive.  This
means events may be delivered out of numeric order (although they now more
closely reflect the "actual" order, e.g. the order that the events were
actually committed to the database).

"Catch ups" where the client has specified a last_log_id and needs to have past
logs replayed continue to be sent in batches.

9187: Add priorities to crunch-dispatch-local test containers.

This is necessary to keep the tests working after
2c4ff054b533c62ecdb269963d3ab0af20d2df8b.
Otherwise, crunch-dispatch-local declines to do anything with them.
Refs #9187.

Merge branch '9187-requeued-containers' closes #9187

9187: Add comments.

9318: Update the compute node status pane to make sure the Details option is only offered when there are any active nodes.

Merge branch 'master' into 9318-dashboard-uses-work-units

9318: remove :output method in favor of :outputs method and correct the logic for various object models.

Merge branch '9278-expiring-collections'

refs #9278

9278: Ensure locator signatures expire no later than expires_at.

9278: Expose expires_at in API response.

9278: Set expires_at=now if a client sets it to a time in the past.

The definition of "now" in the default collection scope changes from
current_timestamp (time the current transaction started) to
statement_timestamp() (time the current statement started) so a test
case can expire a collection and then confirm that it is not in the
default scope, all within a single test transaction.

Merge branch '9309-postgresql-install-guide-wip'

Refs #9309.  Closes #9367.

9309: Separate PostgreSQL setup page in Install Guide.

This provides us with a few benefits:

* We have a place to discuss the different deployment options
  installers have around PostgreSQL.
* PostgreSQL setup is very distro-specific (and it's going to get
  worse when we add CentOS 7), so this can take some of that noise out
  of the Rails server install guides.
* People who want to try new things, like cloud database services,
  get a clearer separation of the install process and the database
  setup process.

9187: Don't try to take lock on containers with priority 0.

9187: If a container is reported Queued, but we are monitoring it, stop monitoring it.

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

8650: test and fixture update

Merge branch 'master' into 8650-container-work-unit

closes #8087
Merge branch 'wtsi-hgi-8087-arv-cli-request-body-from-file'

Merge branch 'master' into wtsi-hgi-8087-arv-cli-request-body-from-file

Merge branch '8087-arv-cli-request-body-from-file' of https://github.com/wtsi-hgi/arvados into wtsi-hgi-8087-arv-cli-request-body-from-file

Merge branch 'master' into 9318-dashboard-uses-work-units

refs #8876
Merge branch '8876-work-unit'

8876: Pass work unit to determine_wallclock_runtime, not the original object.

Merge branch 'master' into 9318-dashboard-uses-work-units

closes #8876
Merge branch '8876-work-unit'

8876: remove show_child_summary and replace it with is_running?

Bugfix submitting cwl jobs with arvados-cwl-runner refs #9275

Merge branch '9275-cwl-runner-creates-jobs' closes #9275

9275: Initial pipeline/job component update from response

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: when computing cpu and running times, use the work unit's start and finished times if there are no children.

9318: running and finished containers and fixtures updated.

9275: Update the update_pipeline_component method to check if pipeline is null.

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

Conflicts:
apps/workbench/app/models/proxy_work_unit.rb

8650: some more methods in ContainerWorkUnit

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: Use JobWorkUnit for pipeline components and cleanup.

9275: add record to cwl_runner_job as components

Merge branch '9187-crunchv2-dispatching' closes #9187

Merge branch 'master' into 9187-crunchv2-dispatching

9187: Remove "squeueError" because checkSqueue for a successful squeue run.  Refactor tests a bit and add a test for canceling containers.

Merge branch '8650-container-work-unit' into 9318-dashboard-uses-work-units

Conflicts:
apps/workbench/app/views/work_unit/_progress.html.erb
apps/workbench/test/unit/work_unit_test.rb

Merge branch '8876-work-unit' into 8650-container-work-unit

Conflicts:
apps/workbench/test/unit/work_unit_test.rb

8876: add tests for link_to_log and queuedtime etc.

8876: introduce view helper methods such as link_to_log and queuedtime etc so that the views do not have to do too many decisions based on the state of the work unit.

9187: Fix refactoring messup

8876: display "no process has been submitted" when a child uuid is not presented.

Merge branch '9272-use-container-auth'

closes #9272

9272: Skip slow test when running -short tests.

9272: Simplify json decoding with Unmarshal.

9272: Fix up state transitions:

* Change state to Running only at the last possible moment before
  starting the container.

* When erroring out before Running, change state back to Queued.

* Do not save log/output/exit code when changing state to Cancelled.

Incidental fixes:

* Clean up error handling in Run()

* Don't create a collection for (or try to attach to the container)
  the second "cleanup activities" log that gets opened after closing
  the real container log.

9272: Pass container auth info into container if requested.

9272: Get container auth instead of passing the dispatcher token into the container.

9275: create pipeline_instance in submit mode as well and add the runner job to it's components.

9318: Compute node summary pane includes queued and locked containers.

9187: Fix comment typo

9187: Add documentation comments to Squeue functions.

9187: Improve squeue synchronization

* Put squeue functions into separate file.

* CheckSqueue() now blocks on a condition variable until the next successful
update of squeue, which then wakes up all goroutines waiting on CheckSqueue().

* Never do anything when squeue returns an error.

* Merge submitting, monitoring, and cleanup behaviors into a single goroutine
which updates based on CheckSqueue() instead of a ticker.

* Introduce a lock on squeue, sbatch and scancel operations, so that on next
wakeup the queue is guaranteed to reflect most recent sbatch/scancel
operations.

9318: "Active" and "Recently finished" panes in dashboard are updated to use work_unit interface.

Merge branch '9343-no-env-vars'

refs #9343

9343: Do not check env vars when setting up Keep client for pull requests.

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: success? includes Canceled as well.

8650: add children to container_work_unit

Merge branch '8876-work-unit' into 8650-container-work-unit

8876: move some methods such as log and output from job_work_unit into proxy_work_unit to aid reusability.

8650: add container_work_unit

8876: child_summary_str checks if total > 0

9187: Slurm dispatcher improvements around squeue

* Clarify that status updates are not guaranteed to be delivered on a
heartbeat.
* Refactor slurm dispatcher to monitor the container in squeue in a separate
goroutine.
* Refactor polling squeue to a single goroutine and cache the results so that
monitoring 100 containers doesn't result in 100 calls to squeue.
* No longer set up strigger to cancel job on finish, instead cancel running
jobs not in squeue.
* Test both cases where a job is/is not in squeue.

Merge branch 'master' into 8876-work-unit

Merge branch '9309-centos-7-packages-wip'

Refs #9309.  Closes #9313.

9309: Add packages and tests for CentOS 7.

9309: Look for fpm-info in backports/$PACKAGE_NAME.

This lets us define additional fpm flags when we build a non-dir
package from a source directory.

9242: Restore newer backported versions of Python packages.

I accidentally reverted this in 758d39f.
Refs #9242.

9242: Update Python module paths for CentOS 6.

I am more sure that this is correct, based on multiple data points
from Python 2 and 3 packages across CentOS 6 and 7.
This might be a change that's fallout from
44ceaa474a330f12dd9e00115af107d7258044f2.
Refs #9242.

Merge branch '9162-keep-balance'

closes #9162

9162: Add replication level histogram

Ported from 00a8ece1580a894dbbf9f756685eefc134e4d0d6 by jrandall

9162: Add keep-balance

Merge branch '9242-python-backport-prefix-wip'

Closes #9242, #9247.

9242: Python packages install libraries to the distro path.

This avoids breaking dependent packages that expect to find files in
the same place.

8876: typo in fixture

8876: correct the job_reader2 fixture

8876: improve jobs_with_components test to have components that can be un/read

Merge branch 'master' into 8876-work-unit

9242: Refactor Python constant definitions in r-b-p.

There are about to be more of them, which will make this a real space
savings.

9316: Include documentation in CWL SDK.

This is necessary to make pip distributions installable, since
setup.py tries to open README.rst.  Closes #9316.

8876: For jobs also, compute progress from it's children if present; otherwise, use task_summary.

Fix centos6 package build (ruamel.yaml package building arguments for fpm).

No issue #