6388: Improve portability of Python backports in run-build-packages.

* Prefix package names with the same prefix used by the interpreter
  package, to avoid conflicts with system packages when we're using
  something like Software Collections.
* Always specify a dependency on that package.
* Exclude more test paths from packages to avoid conflicts.
* Do a little name munging to make sure that output package names
  match dependencies generated by fpm.

6388: CentOS 6 needs Python daemon and llfuse backported.

6388: Build specific backport versions for Python OAuth dependencies.

6388: Build PyCURL with NSS on CentOS 6.

6388: Remove old --apt-server switch from run-build-packages.

Refs #6388.

Merge branch '6388-centos-packages-wip'

Refs #6388.  Closes #6411.

6388: run-build-packages introspects more Python environment.

* Look for easy_install under a few different names.
* On CentOS, query the package that provides each Python, and list
  that as a dependency.

6388: Fix Arvados Perl SDK package build.

6388: Backport pycurl package everywhere.

We need the very latest version per #6073.

6388: Remove version munging from Python package builds.

This code was added to accommodate version numbers that did *not*
comply with PEP 440.  We've since fixed those, and they only include
alphanumerics and dots, so we don't need to munge them.

6388: run-build-packages records python2.7 dependency where needed.

6388: Add distro targets to run-build-packages.

This will provide us a single mechanism to make sure that packages are
built to run on a particular distribution: not just in terms of FPM's
output format, but also repository location, backports required, etc.

6388: Remove Debianisms from run-build-packages.

Make sure function and variable names don't refer to Debian when they
can also be used for Red Hat.

Fix asset generation in the workbench package. Make sure the build step will error out if asset generation fails for whatever reason.

No issue #

Do not build and upload gems that already exist on rubygems.

No issue #

Add very rudimentary support for pushing the rpm packages into a yum
repository.

No issue #

Add rpm generation support to run-build-packages.sh

No issue #

Store the full git hash of the checkout in the arvados-src package, in a file called git-commit.version

refs #6096

CWL script won't fail when there are no documentation changes to commit. no issue #

Set default identity for cwl repo pushes.  no issue #

Since jenkins reuses working directories, handle updating existing git repo of
common-workflow-language site that will be automatically pushed.  no issue #

Automatically build and upload documentation site. no issue #

Make the run-deploy.sh script much more general. It can now be used to
deploy any of our clusters after an upgrade of the versions in hiera.

refs #6096

Fix links to workbench on run-tests.sh. Also shut up the PyYAML build warnings.

No issue #

Fix directory when dropping API server database connections.

The Python one-liner is written with the expectation that it's in this
directory, and usually fails to find <config/database.yml> otherwise.
No issue #.

Merge branch '6096-package-rails-apps'

refs #6096

Merge branch 'master' into 6096-package-rails-apps

Fix "docker-node-engine.sh" renamed to "build-node-docker.sh", add additional Docker image to upload.  no issue #

Be sure to include the pre-generated assets (tmp/cache/assets) in the
workbench packages.

refs #6096

Name change for the arvados-api-server and arvados-workbench packages - part 2.

refs #6096

Name change for the arvados-api-server and arvados-workbench packages. The slim versions are now just

  arvados-api-server
  arvados-workbench

and the bigger version of the package that includes vendor/bundle is called

  arvados-api-server-with-bundle
  arvados-workbench-with-bundle

refs #6096

Simplified run-deploy.sh now that we have moved away from Capistrano.

refs #6096

Default BUILD_BUNDLE_PACKAGES to false.

refs #6096

Fix license names in API and workbench packages.

refs #6096

Build API server and Workbench debian packages.

Refs #6096

Merge branch '5548-test-cwltool' refs #5548

5548: Remove git commands from run-cwl-tests.  Remove cwltool from build-packages.

5548: Script to test, build and upload common workflow language packages and
docker images.

Merge branch '6135-docker-git-tag'

closes #6135

Conflicts:
jenkins/run-docker-tests.sh

6035: add support for --upload as an option

refs #6035

Merge branch '6035-docker-upload-option'

closes #6035

style and fashion for classy 'if' statements

refs #6035

6035: add support for --upload as an option

refs #6035

Merge branch '6061-add-performance-plots' refs #6061

3793: Fix how python3 fpm arguments are added.

The previous code would add arguments such that they could be
interpreted as the package version.  Avoid this by adding arguments
after we're done consuming positional arguments.

Refs #3793.

no more trailing spaces

adding an empty csv in case of error

Improve packaging of third-party Python 3 packages.

* Fix the bug where we're passing in "python3" as the vendor argument
  to build_and_scp_deb.
* Build more dependencies that docker-py needs.
* Automatically add a dependency on the python3 package.

Refs #3793.

5766: Remove "remove dependencies" step. Detect existing PyYAML faster.

Tidy up sanity checks. Add checks for fuse.h, pyconfig.h, nginx.

Suggest how to fix missing dependencies.

No issue #

6061: comment cleanup and final version tested. it works

closes #6061

6061: plot data
added create plot data script to exit_cleanly()
3 initial test to use
Matching more generic test names

refs #6061

adding 3 more test for the performance suite.

I'm guessing the names, lets see if they are good or not ...

refs #6061

adding the creation of plot data that jenkins plot pluging will be able to read

refs #6061

3793: Build Docker cleaner service in run-build-packages.sh.

3793: Add services/dockercleaner to run-tests.sh.

5766: Make sure it doesn't try to fetch arvados packages from PyPi, make sure
we only install the local ones.

5416: Support testargs for go bits, like "services/arv-git-httpd_test=-check.vv".

5416: Run keepproxy, arv-git-httpd, and SSL proxy services during Workbench test suites.

5416: Terminate connections on the configured test database (not necessarily arvados_test).

run-tests.sh can now run the arv-git-httpd tests too.

No issue #

Be consistent in our package and binary naming:
 arv-git-httpd becomes arvados-git-httpd

No issue #

5416: Add --retry flag: when a test suite fails, prompt to try that suite again.

5416: Add arv-git-httpd.

3793: Fix how python3 fpm arguments are added.

The previous code would add arguments such that they could be
interpreted as the package version.  Avoid this by adding arguments
after we're done consuming positional arguments.

Refs #3793.

Improve packaging of third-party Python 3 packages.

* Fix the bug where we're passing in "python3" as the vendor argument
  to build_and_scp_deb.
* Build more dependencies that docker-py needs.
* Automatically add a dependency on the python3 package.

Refs #3793.

Merge branch 'more-sanity-check-less-download' refs #5766

5766: Remove "remove dependencies" step. Detect existing PyYAML faster.

Tidy up sanity checks. Add checks for fuse.h, pyconfig.h, nginx.

Suggest how to fix missing dependencies.

No issue #

Merge branch '3793-docker-cleaner-wip'

Refs #3793.  Closes #6003.

3793: Build Docker cleaner service in run-build-packages.sh.

3793: Add services/dockercleaner to run-tests.sh.

Merge branch '5766-pip-sdk-install' closes #5766

Merge branch '5416-ssl-proxy' refs #5416

5766: Make sure it doesn't try to fetch arvados packages from PyPi, make sure
we only install the local ones.

5416: Support testargs for go bits, like "services/arv-git-httpd_test=-check.vv".

5416: Run keepproxy, arv-git-httpd, and SSL proxy services during Workbench test suites.

5416: Terminate connections on the configured test database (not necessarily arvados_test).

run-tests.sh can now run the arv-git-httpd tests too.

No issue #

Be consistent in our package and binary naming:
 arv-git-httpd becomes arvados-git-httpd

No issue #

Merge branch '5416-arv-git-httpd' refs #5416

The easy-docker-install method should also get the keepproxy and sso
docker images.

closes #5529

Merge branch '5529-build-and-test-keepproxy-docker-image'

refs #5529

Make sure to also push the keepproxy and sso images to the Docker registry.

refs #5529

5416: Add --retry flag: when a test suite fails, prompt to try that suite again.

5416: Add arv-git-httpd.

Add python-backports.ssl-match-hostname to the list of python packages
we debianize. It's a dependency for libcloud 0.17.

Fix a typo.

No issue #

Merge branch 'sigint' closes #5178

Merge branch 'master' into sigint

Conflicts:
jenkins/run-tests.sh

5313: Build a .deb for the PyCrypto Python package.

libcloud's GCE driver requires this, so building it supports deploying
Node Manager on GCE.  Refs #5313.

Be consistent in the naming of the arvados-data-manager package and the binary in the package.

No issue #

Build arvados-data-manager deb.

No issue #

5277: Build .deb for new ciso8601 dependency.

Refs #5277.

Reflect deploy changes in run-deploy.sh

Refs #5226

When run-tests.sh is invoked to only run the api server tests, do not
spin up an api server for all the tests that will not be run.

No issue #

Make pip install quiet, no point in printing loads of useless warnings
(looking at you, PyYAML!).

No issue #

Clean up and exit on SIGINT.

Make tmp/cache during workbench install. No issue #

Default to TESTOPTS=-v for rake test.

(except workbench performance tests, because Minitest bug)
No issue #

Make sure tmp/cache exists before we run our performance test suite.

refs #4754

Run the performance tests the documented way. This is possible after
commit d65b683af52e072b3d179b6f32edfbf37e108011 has been merged in the
arvados repository.

refs #4754

Add a script to run our performance tests.

refs #4754