9275: Initial pipeline/job component update from response

9275: Update the update_pipeline_component method to check if pipeline is null.

9275: add record to cwl_runner_job as components

9275: create pipeline_instance in submit mode as well and add the runner job to it's components.

Merge branch '9343-no-env-vars'

refs #9343

9343: Do not check env vars when setting up Keep client for pull requests.

Merge branch '9309-centos-7-packages-wip'

Refs #9309.  Closes #9313.

9309: Add packages and tests for CentOS 7.

9309: Look for fpm-info in backports/$PACKAGE_NAME.

This lets us define additional fpm flags when we build a non-dir
package from a source directory.

9242: Restore newer backported versions of Python packages.

I accidentally reverted this in 758d39f.
Refs #9242.

9242: Update Python module paths for CentOS 6.

I am more sure that this is correct, based on multiple data points
from Python 2 and 3 packages across CentOS 6 and 7.
This might be a change that's fallout from
44ceaa474a330f12dd9e00115af107d7258044f2.
Refs #9242.

Merge branch '9162-keep-balance'

closes #9162

9162: Add replication level histogram

Ported from 00a8ece1580a894dbbf9f756685eefc134e4d0d6 by jrandall

9162: Add keep-balance

Merge branch '9242-python-backport-prefix-wip'

Closes #9242, #9247.

9242: Python packages install libraries to the distro path.

This avoids breaking dependent packages that expect to find files in
the same place.

9242: Refactor Python constant definitions in r-b-p.

There are about to be more of them, which will make this a real space
savings.

9316: Include documentation in CWL SDK.

This is necessary to make pip distributions installable, since
setup.py tries to open README.rst.  Closes #9316.

Fix centos6 package build (ruamel.yaml package building arguments for fpm).

No issue #

Update Software Collections package name in Install Guide.

Follows up previous commit.  No issue #.

Update Software Collections package name in CentOS 6 Dockerfiles.

Why does the name of this package keep changing?
It is a mystery.
No issue #.

8959: Remove redundant python-gflags fpm-info.sh.

I added this file in 495a485ff.  Later, Nico pinned the version in
run-build-packages, in a8bbf6ef, to try to fix #8959.  However, odds
are that #8959 was an ops problem, and not a package building problem:
the gflags 3.0 packages were still published on our repository, and
needed to be removed there.

Having both files causes trouble when you're building backports from
scratch.  We haven't noticed because Jenkins never does that.  But
I'm working on new packages and getting:

    Loading fpm overrides from /arvados/backports/python-gflags/fpm-info.sh

    fpm --maintainer=Ward Vandewege <ward@curoverse.com> -s python -t rpm --exclude=*/dist-packages/tests/* --exclude=*/site-packages/tests/* --verbose --log info -n python-gflags --iteration 1 --python-bin python2.7 --python-easyinstall easy_install-2.7 --python-package-name-prefix python --depends python -v 2.0 python-gflags==2.0

    Error: python-gflags==2.0: Unable to figure out package name from fpm results:

    {:timestamp=>"2016-05-27T22:20:53.045329+0000", :message=>"Setting workdir", :workdir=>"/tmp", :level=>:info} {:timestamp=>"2016-05-27T22:20:53.049435+0000", :message=>"Trying to download", :package=>"python-gflags==2.0", :level=>:info} {:timestamp=>"2016-05-27T22:20:53.122897+0000", :message=>"error: Not a URL, existing file, or requirement spec: 'python-gflags==2.0==2.0'", :level=>:info} {:timestamp=>"2016-05-27T22:20:53.130325+0000", :message=>"Process failed: easy_install-2.7 failed (exit code 1). Full command was:[\"easy_install-2.7\", \"-i\", \"https://pypi.python.org/simple\", \"--editable\", \"-U\", \"--build-directory\", \"/tmp/package-python-build20160527-1643-3sl5ec/python-gflags==2.0\", \"python-gflags==2.0==2.0\"]", :level=>:error}

Refs #8959.

Add dependency for ruamel.yaml to the build list.

No issue #

Fix bug in run-build-packages-one-target.sh: make sure to escape the *
passed to find.

No issue #

Merge branch '9272-test-races'

refs #9272

9272: Fix some race conditions in flaky tests.

Arvbox installs binaries for go 1.6 instead of golang Debian package
(which is stuck at 1.3) no issue #

Package ruamel.yaml, which is a new dependency of schema-salad.

No issue #

Merge branch '9303-actor-dead-dead' refs #9303

9303: Fetch arv_node before trying to shut down node, because monitor actor may
go away once the node has been successfully shut down.  Also handle case of
node_finished_shutdown called after shutdown actor is stopped.

Log watchdog exception refs #9303

Merge branch '9303-kill-nodemanager-on-dead-actor' refs #9303

9303: Watchdog kill node manager on any error

Build distribution packages for the version of python-schema-salad that
python-cwltool now depends on.

refs #8653

Build distribution packages for the version of python-cwltool that
python-arvados-cwl-runner now depends on.

refs #8653

closes #8556
Merge branch '8556-azure-trash'

8556: implement trash/untrash for azure volumes.

Merge branch 'wtsi-hgi-9231-rename-redunancy-to-replication-desired'

closes #9231

Merge branch '8653-cwl-runner-handle-files' closes #8653

8653: Fix tests.

8653: Use load_tool.fetch_document() instead of Loader() to read raw document.

8653: add cwlVersion so file validate correctly.

8653: Fix pathmapper API

8653: Set basedir for CollectionFsAccess

8653: Update load_tool in cwl-runner crunch script

Renames 'redundancy' to 'replication_desired'

8653: Check that parameters are basestring before matching regex.

8653: Update cwl-runner to match changes in sdk/arvados-cwl-runner

8653: cwl-runner crunch script rewrites keep file paths into CWL File objects.
Clean up argument handling in arvados-cwl-runner so that --create-template
doesn't require a job object, and that --help doesn't present options that are
irrelevant or don't work.

Merge branch '9018-nodemanager-kill-instead-of-killpg' closes #9018

9018: Change os.killpg() -> os.kill, don't create new process group.

Merge branch '8236-nodemanager-watchdog' closes #8236

8236: Restore os.killpg().  Create a new process group so that it won't kill
the parent process by accident.  Watchdog process now only monitors specific
actors.

Merge branch '9049-arv-copy-filters-wip'

Closes #9049, #9225.

9049: arv-copy checks and updates pipeline template filters.

8236: Add comment to BogusActor.ping()

Merge branch 'master' into 8236-nodemanager-watchdog

Merge branch '9161-node-state-fixes' closes #9161

8236: Add watchdog actor.  This calls ping() on every other actor to check that
it is responsive.  If an actor fails to respond, kill node manager.

9161: Remove unused "paired()" function

Merge branch 'master' into 9161-node-state-fixes

Remove hardcoded -v in call to run_upload_packages.py

refs #9224

When running run-build-packages-python-and-ruby.sh with --debug, pass
--verbose to the upload command.

refs #9224

9161: Remove spurious prints

9161: Don't automatically consider nodes with job_uuid set to be 'busy'.

9161: Decisions to start and stop compute nodes are now based on an explicit
set of states: booting, unpaired, idle, busy, down, shutdown.  Refactor to
remove 'shutdowns' dict and fold into cloud_nodes.  Nodes_wanted uses same
computation of node state as used for decision to shut down nodes.  Nodes for
which the state is unclear are either idle (if in the boot grace period) or
down (if older).

9161: Put nodes tagged _nodemanager_recently_booted nodes back into the node list.

9161: Add _nodemanager_recently_booted as new way of remembering nodes which are in intermediate state between being created and showing up in the cloud node list.

Accept auth tokens with uppercase letters.

No issue #

9161: Adjusting behavior to accomodate down/broken/missing nodes.

Merge branch '9213-fix-arv-gems-wip'

Closes #9213, #9215.

9213: Update arv's `gem install` suggestions.

This makes it match what it actually loads.

9213: Improve gem loading in `arv`.

* Include the exception string in the error message.
* Separate stdlib loading problems from gem loading problems.
* Load gems with more dependencies first, to avoid situations like
  this:

irb(main):001:0> require 'active_support/inflector'
=> true
irb(main):002:0> require 'arvados/google_api_client'
Gem::LoadError: Unable to activate arvados-0.1.20160420143004, because activesupport-4.2.6 conflicts with activesupport (< 4.2.6, >= 3)

9213: Fix google-api-client dependency range in gemspecs.

Merge branch '9135-eventclient-run-forever-wip'

Closes #9135, #9157.

9135: Bring EventClient's public interface closer to PollClient's.

* Restore the run_forever method, which was previously inherited from
  WebSocketClient.
* Remove the connect and close_connection methods, which are
  WebSocketClient implementation details that don't make sense as part
  of the public interface.  (A running EventClient will just reconnect
  if you call close_connection on it.)

9135: Make EventClient initialization more consistent.

* DRY up the setup code.  This includes always trying to close the
  conenction after failure, since we were doing that in the initial
  connection.
* Make the client a daemon thread, for consistency with PollClient.

9135: Clean imports in test_events.

9135: Add basic tests for Python events listeners.

These ensure that both classes have the core methods subscribe,
unsubscribe, run_forever, and close.

Rename the test file to test_events, to better match other test
patterns, and account for the fact it tests both classes in the
module.

9161: Eliminate 'booted' list and put nodes directly into cloud_nodes list.
Refactor logic for registering cloud nodes.  Refactor computation of nodes
wanted; explicitly model 'unpaired' and 'down'.

9188: Update SetBlobMetadata func signature.

refs #9188

Merge branch '8128-crunch2-auth-api'

closes #8128

8128: Fix test race.

8128: Fix flaky test: pipe the "echo UUID" script to sh, not to "echo UUID".

8128: Use row lock during Container update, add comments.

8128: Add arvados.v1.api_client_authorizations.current

8128: Add runtime tokens for containers, and locks for multiple dispatchers

8128: Update crunch-dispatch-local to use new Locked state.

8128: Update crunch-dispatch-slurm to use new Locked state.

8128: Add Locked state to Container model.

8128: De-dup container unit tests

9161: There's a window between when a node pings for the first time and the
value of 'slurm_state' is synchronized by crunch-dispatch.  In this window, the
node will still report as 'down'.  Check first_ping_at and implement a grace
period where the node should will be considered 'idle'.

Merge branch '8886-async-permission-update' refs #8886

8886: Restore behavior in group_permissions to call
calculate_group_permissions when cache is empty and async_permissions_update is
not true.

closes #8017
Merge branch '8017-slurm-runtime-constraints'

8017: RuntimeConstraints uses int64

closes #8464
Merge branch '8464-crunch2-stdout'

8017: RuntimeConstraints uses int64

Merge branch '8017-slurm-runtime-constraints' of git.curoverse.com:arvados into 8017-slurm-runtime-constraints

8464: stdout handling