8014: Rails postinst script sets better default access for /etc/arvados.

8014, 8059: Unify Rails package building.

* Introduce a handle_rails_package function, and helpers, to build a
  Rails package.
* Generalize all the support scripts into unified postinst, prerm, and
  postrm scripts.  handle_rails_package builds these into the
  packages.  See jenkins/rails-package-scripts/README.md for details.
* More error checking throughout (e.g., check for failure when doing
  any prep work for Rails packages, or the Workbench packages
  specifically, using `set -e` in a subshell).

One behavior change from this unification: before this,
run-build-packages treated --build-bundle-packages to mean "*also*
build bundle packages", while run-build-packages-sso treated the
switch to mean "*only* build bundle packages".  This commit declares
run-build-packages to be the winner, and makes run-build-packages-sso
consistent with it.

Fix quoting of local variable assignments throughout.

When you assign a variable directly (e.g., `FOO=bar`), you don't need
to quote the RHS, because the shell doesn't do expansion in that
case.  But when you declare and assign a variable (e.g., `local
foo=bar`), you *do* potentially need to quote it, because `local` is a
command and all the normal expansion rules for running commands
applies.

8014: Clean database state detection in arvados-sso postinst.

* Remove unused status code capture.
* Use `grep -q`.  Previous versions of the script avoided it because
  they piped directly from rake tasks, which would get upset when the
  pipe broke.  Now that we capture all the output, that's no longer a
  concern.

8014: Introduce run_and_report function to arvados-sso postinst.

Use this to DRY up code that says "Doing something... done."
This commit removes some `|| exit $?` that's redundant with `set -e`.

8014: Improve conffile handling in arvados-sso postinst.

* DRY it up into a function.
* DATABASE_READY and APPLICATION_READY care about whether the
  corresponding .yml file is usable.  Always detect when it is
  unmodified from the .yml.example file.
* Build symlinks from /var/www to /etc in more cases where it's safe.

8014: arvados-sso postinst recognizes versioned Nginx service names.

8014: Refactor web service detection warnings in arvados-sso postinst.

8014: Simplify COMMAND_PREFIX-setting code.

8014: Refactor "not fully configured" messages in arvados-sso postinst.

8014: Remove unused $VERSION tracking from arvados-sso postinst.

8014: Remove unused sso-server-upgrade.sh script.

7991: pip build process detects if --no-use-wheel is supported.

Refs #7991.

7991: Update error message for pip build errors.

Refs #7991.

Merge branch '7991-google-api-python-client-perms-wip'

Closes #7991, #8136.

7991: Fix permissions of google-api-python-client egg info files.

Make sure not to silence package installation during the test-packages
stage, so that we can see actual failure messages if there is a problem.

No issue #

8104: Pin the pycurl backport version.

Refs #8104.

Merge branch '7901-crunchstat-summary' refs #7901

7901: Add crunchstat-summary

7961: SSO postinst script uses bash.

Closes #7961.

7953: Update test procedure for CentOS 6 packages.

Don't install any Software Collections in the Dockerfile, just the
Software Collections tools.  Test that our packages correctly declare
their dependency on the relevant Software Collection, and that it gets
pulled in.  We want to tell users to install this way, so this makes
sure it's working.

Refs #7953, #7957.

Merge branch '7829-package-licenses-wip'

Refs #7829.  Closes #7913.

7829: Add licenses to Arvados software packages.

7953: Fix Docker image to test CentOS 6.6 packages.

Follows the same rationale as
bebf531a2cb9cf08843d6ac4d4ae2238d58efc2b.

Refs #7953.

Merge branch '7953-centos-scl-fix-wip'

Refs #7953.  Closes #7955.

7953: Fix Docker image to build CentOS 6.6 packages.

* Follow the Software Collections documentation at
  <https://wiki.centos.org/AdditionalResources/Repositories/SCL>.
  This downgrades us to Python 3.3, but that shouldn't be a
  problem, since we test and build packages for Debian 7 which uses
  Python 3.2.  On the plus side, it removes an external dependency
  on softwarecollections.org.

* The python-pip package disappeared.  I don't know where it went.
  Maybe there were changes to the underlying centos:6 Docker image?
  Install it manually.

Default run-deploy.sh to ssh port 22, and provide a command line option
to change the port.

No issue #

refs #7710
Merge branch '7710-add-go-sdk-crunchrunner'

7839: Stop backporting requests for Python 2.

This is no longer needed now that our Keep client is built on top of
pycurl.  Confirmed by building all our Python packages from source
into a fresh virtualenv.  requests does not appear in `pip freeze`.

requests is still needed for Python 3 because docker-py uses it.

Closes #7839.

7710: add crunchrunner to gostuff

refs #7253
Merge branch '7253-add-go-sdk-manifest'

Merge branch 'master' into 7253-add-go-sdk-manifest

7253: add sdk/go/blockdigest to gostuff

Force pbr<1.7.0 when installing mock.

No issue #

7253: add sdk/go/manifest to gostuff

refs #7490
Merge branch '7490-datamanager-test'

7490: add services/datamanager/keep to gostuff

Merge branch '5824-keep-web-workbench' refs #5824

Merge branch '7593-arvados-cwl-runner' refs #7593

Merge branch '7722-build-keep-rsync' closes #7722

Merge branch '7591-httplib2-perms-fix-wip'

refs #7591

7591: Workaround bad permissions in the httplib2 backport.

5824: Merge branch 'master' into 5824-keep-web-workbench

Add libwww-perl and python mock dependencies, so tests can run on ubuntu 14.04

If we let setuptools install mock for us (because it's listed in
tests_require), "python setup.py test" fails:

running test
Searching for mock>=1.0
Best match: mock 1.3.0
Processing mock-1.3.0-py2.7.egg

Using /tmp/arvados/sdk/python/.eggs/mock-1.3.0-py2.7.egg
Traceback (most recent call last):
  File "setup.py", line 49, in <module>
    cmdclass={'egg_info': tagger},
[...]
  File "/tmp/.cache/arvados-build/VENVDIR/local/lib/python2.7/site-packages/pkg_resources/__init__.py", line 2910, in scan_list
    raise RequirementParseError(msg, line, "at", line[p:])
pkg_resources.RequirementParseError: Expected version spec in funcsigs;python_version<"3.3" at ;python_version<"3.3

No issue #

7722: Build keep-rsync package. Deduplicate go->fpm recipe.

arvados-api-server-upgrade.sh fix: do not try to chmod the cache
directory if it doesn't exist. This avoids an error on fresh install.
Rails will create the cache directory if it doesn't exist.

No issue #

Merge branch '5824-keep-web'

refs #5824

5824: Start keep-web service for Workbench integration tests.

5824: Add services/keep-web

Remove unnecessary yum update.  touch RPM database to work around overlayfs bug.
refs #7370

Obsoleted by run-build-packages-all-targets.sh --test-packages refs #7370

reverted hkp port 80 explicitly

no issue #

Make sure that the CentOS 6 test script actually does the yum update call.

refs #7370

7593: Add sdk/cwl to package building.

Add python-pip to the Arvados build images.

this is a dependency for #7591 (refs #7591)

hkp://pool.sks-keyservers.net:80 is needed to use the transaparent proxy

no issue #

Fix path issue when running run-build-packages-all-targets.sh from
another directory.

refs #7370

Make sure bundle is installed in arvados-api-server-upgrade.sh,
arvados-workbench-upgrade.sh and arvados-sso-server.postinst

No issue #

Merge branch '7370-package-install-testing' closes #7370

Shut up dpkg-scanpackages warnings.

refs #7370

Backport pbr < 1.0 on CentOS 6.

The lockfile backport grew a dependency on pbr < 1.0 in their version
0.11.  No issue #.

7370: run-build-packages-all-targets hands off to run-build-packages-one-target, suppports --test-packages option.

7370: Fix centos6 package builder container.

Merge branch 'master' into 7370-package-install-testing

Conflicts:
jenkins/run-build-packages-one-target.sh

7370: Refactoring way the package test is set up and executed.

refs #7167
Merge branch '7167-keep-rsync-test-setup'

Merge branch 'master' into 7167-keep-rsync-test-setup

Merge branch '7341-deploy-retries-puppet-agent-wip'

Closes #7341, #7549.

Merge branch 'master' into 7370-package-install-testing

7341: run-deploy.sh retries failed Puppet agent runs.

It simply keeps retrying any failure until ten minutes have passed,
per Nico's suggestion in the comments.

Bonus bugfix: make sure run_puppet's ECODE variable gets set to the
exit status of Puppet (or the wrapper script), and not tee.

Make sure to run the arvados-api-server-upgrade.sh and
arvados-workbench-upgrade.sh scripts in the RVM environment in
run-deploy.sh.

no issue #

Make it possible to pass --debug through to the script run inside the Docker
build containers.

No issue #

Ensure proper permissions on /usr/local/arvados/src in the arvados-src package.

refs #7397

Merge branch 'master' into 7167-keep-rsync-test-setup

7460: c97qk doesnt need mailchimp deployed. this caused deploy to fail in Ubuntu

refs #7460

Run CWL tests for both draft-2 and draft-3.  No issue #

Update cwl builder process for repository reorganization.  No issue #

Update pin of libcloud fork to dev4 refs #7286

Merge branch '7451-dont-recreate-venv3dir-wip'

Refs #7451.  Closes #7452.

7451: Improve virtualenv setup in run-tests.sh.

The code to build the Python 3 virtualenv didn't check to see whether
the virtualenv already existed first.  When reusing a Python 3
virtualenv, pip would get downgraded and start failing.

Refactor the virtualenv setup code to avoid this duplication and these
sorts of bugs.

While I was at it: rather than trying to parse package versions
ourselves to figure out when to upgrade setuptools and pip, just tell
pip the versions we want.  'pip>=7' is an approximation of what we're
currently doing.  The main thing we care about is that we get a
version new enough to work with setuptools 18.

Fix incorrect line numbers on compile errors reported by "go test" in coverage mode. No issue #

7167: add keep-rsync to gostuff.

7356: CentOS 6 needs a Python 3 backport for websocket-client.

Refs #7356.

Merge branch '7330-postinst-for-sso-server'

refs #7330

More fixes for the SSO server packages.

refs #7330

A number of additional tweaks.

refs #7330

Add support for CentOS6 to the improved SSO packages.

refs #7330

Initial version of run-test-packages-sso.sh

refs #7330

Remove bash-ism from arvados-sso-server.postinst.

refs #7330

Add prerm and postrm scripts, various cleanups.

refs #7330

First commit.

refs #7330

Fix the test that avoids running puppet multiple times on installations
where workbench runs on the API server.

No issue #

7322: Don't backport virtualenv for Arvados.

The Arvados code only needs virtualenv 1.7, which is provided with all
of our supported distros.

run-tests.sh requires 1.8.3 to use the --setuptools switch, but that
can be handled without publishing a backported package.

Refs #7322.

Merge branch '7228-group-writable-tmp-cache' refs #7228

7228: Add chmod -R 2775 $RELEASE_PATH/tmp/cache/ so that cache is group writable.

Make the build step for our libcloud package a lot less noisy by default.

No issue #

Close unclosed quotes in arvados-api-server-upgrade.sh.

No issue #.

Merge branch 'pr/1'

Closes #7261.

refs #6260
Merge branch '6260-test-datamanager'