Merge branch '6388-package-scripts-redhat-support-wip'

Refs #6388.  Closes #6480.

6388: Extend API server upgrade script to do initial database setup.

This will let administrators duplicating a lot of logic that already
exists in the script.

6388: Rails package upgrade scripts support Red Hat systems.

* Red Hat doesn't use the www-data account name.
* When nginx is installed from a Software Collection, it may have a
  name like `nginx16`.  Detect and use this.

Bugfix config:check error detection in Rails upgrade scripts.

The previous code was capturing the exit status of echo, which isn't
very interesting.  No issue #.

6377: Don't try to uninstall arvados* gems if they are not installed.

Fixes run-tests failure when no Ruby SDK is installed on the test host
and tmpdirs are new/empty. refs #6377

6377: Create user-specified tmpdirs if necessary. refs #6377

Add rsync to the repo update command in run-build-packages.

No issue #

Make sure to also build a backported package for python-llfuse. We need
it for writeable fuse.

refs #3198

Update comment references from 'debs' to 'packages'.

refs #6389

Drop built packages into packages/$TARGET instead of the old 'debs' directory.

Also, fix the 'find' test so that built packages are actually added to
the repository after upload.

refs #6389

Add ubuntu1204 target to run-build-packages.sh

refs #6389

Regex match fixes in the character class match for $FPM_RESULTS:

a) we want to match a literal dot, not any character

b) bash 4.2 does not support escaping a dash to include it in the
character class, move the dash to the last character listed in the class

refs #6389

6388: CentOS needs backports for python-daemon and its dependencies.

Refs #6388.

Additionally build and upload cwl-runner package.  no issue #

login patch because DockerHub is not friendly

no issue #

Merge branch '6388-python-backports-wip'

Refs #6388.  Closes #6425.

6388: Improve portability of Python backports in run-build-packages.

* Prefix package names with the same prefix used by the interpreter
  package, to avoid conflicts with system packages when we're using
  something like Software Collections.
* Always specify a dependency on that package.
* Exclude more test paths from packages to avoid conflicts.
* Do a little name munging to make sure that output package names
  match dependencies generated by fpm.

6388: CentOS 6 needs Python daemon and llfuse backported.

6388: Build specific backport versions for Python OAuth dependencies.

6388: Build PyCURL with NSS on CentOS 6.

6388: Remove old --apt-server switch from run-build-packages.

Refs #6388.

Merge branch '6388-centos-packages-wip'

Refs #6388.  Closes #6411.

6388: run-build-packages introspects more Python environment.

* Look for easy_install under a few different names.
* On CentOS, query the package that provides each Python, and list
  that as a dependency.

6388: Fix Arvados Perl SDK package build.

6388: Backport pycurl package everywhere.

We need the very latest version per #6073.

6388: Remove version munging from Python package builds.

This code was added to accommodate version numbers that did *not*
comply with PEP 440.  We've since fixed those, and they only include
alphanumerics and dots, so we don't need to munge them.

6388: run-build-packages records python2.7 dependency where needed.

6388: Add distro targets to run-build-packages.

This will provide us a single mechanism to make sure that packages are
built to run on a particular distribution: not just in terms of FPM's
output format, but also repository location, backports required, etc.

6388: Remove Debianisms from run-build-packages.

Make sure function and variable names don't refer to Debian when they
can also be used for Red Hat.

Fix asset generation in the workbench package. Make sure the build step will error out if asset generation fails for whatever reason.

No issue #

Do not build and upload gems that already exist on rubygems.

No issue #

Add very rudimentary support for pushing the rpm packages into a yum
repository.

No issue #

Add rpm generation support to run-build-packages.sh

No issue #

Store the full git hash of the checkout in the arvados-src package, in a file called git-commit.version

refs #6096

CWL script won't fail when there are no documentation changes to commit. no issue #

Set default identity for cwl repo pushes.  no issue #

Since jenkins reuses working directories, handle updating existing git repo of
common-workflow-language site that will be automatically pushed.  no issue #

Automatically build and upload documentation site. no issue #

Make the run-deploy.sh script much more general. It can now be used to
deploy any of our clusters after an upgrade of the versions in hiera.

refs #6096

Fix links to workbench on run-tests.sh. Also shut up the PyYAML build warnings.

No issue #

Fix directory when dropping API server database connections.

The Python one-liner is written with the expectation that it's in this
directory, and usually fails to find <config/database.yml> otherwise.
No issue #.

Merge branch '6096-package-rails-apps'

refs #6096

Merge branch 'master' into 6096-package-rails-apps

Fix "docker-node-engine.sh" renamed to "build-node-docker.sh", add additional Docker image to upload.  no issue #

Be sure to include the pre-generated assets (tmp/cache/assets) in the
workbench packages.

refs #6096

Name change for the arvados-api-server and arvados-workbench packages - part 2.

refs #6096

Name change for the arvados-api-server and arvados-workbench packages. The slim versions are now just

  arvados-api-server
  arvados-workbench

and the bigger version of the package that includes vendor/bundle is called

  arvados-api-server-with-bundle
  arvados-workbench-with-bundle

refs #6096

Simplified run-deploy.sh now that we have moved away from Capistrano.

refs #6096

Default BUILD_BUNDLE_PACKAGES to false.

refs #6096

Fix license names in API and workbench packages.

refs #6096

Build API server and Workbench debian packages.

Refs #6096

Merge branch '5548-test-cwltool' refs #5548

5548: Remove git commands from run-cwl-tests.  Remove cwltool from build-packages.

5548: Script to test, build and upload common workflow language packages and
docker images.

Merge branch '6135-docker-git-tag'

closes #6135

Conflicts:
jenkins/run-docker-tests.sh

6035: add support for --upload as an option

refs #6035

Merge branch '6035-docker-upload-option'

closes #6035

style and fashion for classy 'if' statements

refs #6035

6035: add support for --upload as an option

refs #6035

Merge branch '6061-add-performance-plots' refs #6061

3793: Fix how python3 fpm arguments are added.

The previous code would add arguments such that they could be
interpreted as the package version.  Avoid this by adding arguments
after we're done consuming positional arguments.

Refs #3793.

no more trailing spaces

adding an empty csv in case of error

Improve packaging of third-party Python 3 packages.

* Fix the bug where we're passing in "python3" as the vendor argument
  to build_and_scp_deb.
* Build more dependencies that docker-py needs.
* Automatically add a dependency on the python3 package.

Refs #3793.

5766: Remove "remove dependencies" step. Detect existing PyYAML faster.

Tidy up sanity checks. Add checks for fuse.h, pyconfig.h, nginx.

Suggest how to fix missing dependencies.

No issue #

6061: comment cleanup and final version tested. it works

closes #6061

6061: plot data
added create plot data script to exit_cleanly()
3 initial test to use
Matching more generic test names

refs #6061

adding 3 more test for the performance suite.

I'm guessing the names, lets see if they are good or not ...

refs #6061

adding the creation of plot data that jenkins plot pluging will be able to read

refs #6061

3793: Build Docker cleaner service in run-build-packages.sh.

3793: Add services/dockercleaner to run-tests.sh.

5766: Make sure it doesn't try to fetch arvados packages from PyPi, make sure
we only install the local ones.

5416: Support testargs for go bits, like "services/arv-git-httpd_test=-check.vv".

5416: Run keepproxy, arv-git-httpd, and SSL proxy services during Workbench test suites.

5416: Terminate connections on the configured test database (not necessarily arvados_test).

run-tests.sh can now run the arv-git-httpd tests too.

No issue #

Be consistent in our package and binary naming:
 arv-git-httpd becomes arvados-git-httpd

No issue #

5416: Add --retry flag: when a test suite fails, prompt to try that suite again.

5416: Add arv-git-httpd.

3793: Fix how python3 fpm arguments are added.

The previous code would add arguments such that they could be
interpreted as the package version.  Avoid this by adding arguments
after we're done consuming positional arguments.

Refs #3793.

Improve packaging of third-party Python 3 packages.

* Fix the bug where we're passing in "python3" as the vendor argument
  to build_and_scp_deb.
* Build more dependencies that docker-py needs.
* Automatically add a dependency on the python3 package.

Refs #3793.

Merge branch 'more-sanity-check-less-download' refs #5766

5766: Remove "remove dependencies" step. Detect existing PyYAML faster.

Tidy up sanity checks. Add checks for fuse.h, pyconfig.h, nginx.

Suggest how to fix missing dependencies.

No issue #

Merge branch '3793-docker-cleaner-wip'

Refs #3793.  Closes #6003.

3793: Build Docker cleaner service in run-build-packages.sh.

3793: Add services/dockercleaner to run-tests.sh.

Merge branch '5766-pip-sdk-install' closes #5766

Merge branch '5416-ssl-proxy' refs #5416

5766: Make sure it doesn't try to fetch arvados packages from PyPi, make sure
we only install the local ones.

5416: Support testargs for go bits, like "services/arv-git-httpd_test=-check.vv".

5416: Run keepproxy, arv-git-httpd, and SSL proxy services during Workbench test suites.

5416: Terminate connections on the configured test database (not necessarily arvados_test).

run-tests.sh can now run the arv-git-httpd tests too.

No issue #

Be consistent in our package and binary naming:
 arv-git-httpd becomes arvados-git-httpd

No issue #

Merge branch '5416-arv-git-httpd' refs #5416

The easy-docker-install method should also get the keepproxy and sso
docker images.

closes #5529

Merge branch '5529-build-and-test-keepproxy-docker-image'

refs #5529

Make sure to also push the keepproxy and sso images to the Docker registry.

refs #5529

5416: Add --retry flag: when a test suite fails, prompt to try that suite again.

5416: Add arv-git-httpd.