Bump iteration of rails packages to -4 refs #8008

Fix selecting most recent package for package testing, refs #8008.

8008: Make dependencies for build-dockerfiles.

We've apparently never had code to do this before.  I guess all
deployments had the dependencies generated by hand before running.
This makes them automated to fix failures like
<https://ci.curoverse.com/job/build-packages/1668/console>.
Refs #8008.

Fix markdown for arvbox README.md refs #8080

Add "status" command, refs #8080

Just create arvbox superuser instead of creating a whole useless database.
Check directly whether creating the arvbox is required. refs #8080

Make sure not to accidentally include config/application.yml and
config/database.yml in our rails packages, take 2: make sure that
config/database.yml *is* present in our workbench packages, where we
want to include it.

No issue #

Merge branch '8066-git-init-from-postinst'

closes #8066

Some review fixes.

closes #8066

Merge branch 'master' into 8066-git-init-from-postinst

Make sure not to accidentally include config/application.yml and
config/database.yml in our rails packages.

No issue #

Bump libcloud package version pin to 0.20.2dev1 refs #8235

Merge branch '8008-test-all-packages' closes #8008

8008: Tweak error code reporting.  Remove debugging line.

8008: Quote more variables in package test scripts.

refs #8028
Merge branch '8028-crunch-dispatch-local'

Merge branch 'master' into 8028-crunch-dispatch-local

Conflicts:
jenkins/run-tests.sh

Document some arvbox hw/sw requirements refs #8080

Enable arvbox user to sudo to crunch user.  refs #8080

Add crunch-run to run-tests refs #7816

Fix gitolite-shell path refs #8080

added git_internal_dir init in postinst.sh

Merge branch '8080-arvbox' closes #8080

8080: fpm_depends comes before run-build-package commands; fpm_args comes after
run-build package commands.  Improve quoting.  Use sed -i.

8008: Move test files into their own directories.  Fix rails package tests to
work with debian & ubuntu.  Fix error code checking.

8008: SSO package tests pass for all targets.

8008: Incorporate SSO package testing into general package testing framework.

Fixing our fpm rails package building to handle fpm-info.sh.

8008: Run bundle install and bundle list for api server and workbench.

8080: Successfully tests all packages.  Produces before/after/diff lists for each package.

8008: Test each Arvados package individually.

8028: add services/crunch-dispatch-local

Merge branch '8014-rails-postinst-scripts-wip'

Refs #8014.  Closes #8036.

8014: Rails upgrade scripts are removed; don't run them in deploy script.

8014: Rails postinst script sets better default access for /etc/arvados.

8014, 8059: Unify Rails package building.

* Introduce a handle_rails_package function, and helpers, to build a
  Rails package.
* Generalize all the support scripts into unified postinst, prerm, and
  postrm scripts.  handle_rails_package builds these into the
  packages.  See jenkins/rails-package-scripts/README.md for details.
* More error checking throughout (e.g., check for failure when doing
  any prep work for Rails packages, or the Workbench packages
  specifically, using `set -e` in a subshell).

One behavior change from this unification: before this,
run-build-packages treated --build-bundle-packages to mean "*also*
build bundle packages", while run-build-packages-sso treated the
switch to mean "*only* build bundle packages".  This commit declares
run-build-packages to be the winner, and makes run-build-packages-sso
consistent with it.

Fix quoting of local variable assignments throughout.

When you assign a variable directly (e.g., `FOO=bar`), you don't need
to quote the RHS, because the shell doesn't do expansion in that
case.  But when you declare and assign a variable (e.g., `local
foo=bar`), you *do* potentially need to quote it, because `local` is a
command and all the normal expansion rules for running commands
applies.

8014: Clean database state detection in arvados-sso postinst.

* Remove unused status code capture.
* Use `grep -q`.  Previous versions of the script avoided it because
  they piped directly from rake tasks, which would get upset when the
  pipe broke.  Now that we capture all the output, that's no longer a
  concern.

8014: Introduce run_and_report function to arvados-sso postinst.

Use this to DRY up code that says "Doing something... done."
This commit removes some `|| exit $?` that's redundant with `set -e`.

8014: Improve conffile handling in arvados-sso postinst.

* DRY it up into a function.
* DATABASE_READY and APPLICATION_READY care about whether the
  corresponding .yml file is usable.  Always detect when it is
  unmodified from the .yml.example file.
* Build symlinks from /var/www to /etc in more cases where it's safe.

8014: arvados-sso postinst recognizes versioned Nginx service names.

8014: Refactor web service detection warnings in arvados-sso postinst.

8014: Simplify COMMAND_PREFIX-setting code.

8014: Refactor "not fully configured" messages in arvados-sso postinst.

8014: Remove unused $VERSION tracking from arvados-sso postinst.

8014: Remove unused sso-server-upgrade.sh script.

7991: pip build process detects if --no-use-wheel is supported.

Refs #7991.

7991: Update error message for pip build errors.

Refs #7991.

Merge branch '7991-google-api-python-client-perms-wip'

Closes #7991, #8136.

7991: Fix permissions of google-api-python-client egg info files.

Make sure not to silence package installation during the test-packages
stage, so that we can see actual failure messages if there is a problem.

No issue #

8104: Pin the pycurl backport version.

Refs #8104.

Merge branch '7901-crunchstat-summary' refs #7901

7901: Add crunchstat-summary

7961: SSO postinst script uses bash.

Closes #7961.

7953: Update test procedure for CentOS 6 packages.

Don't install any Software Collections in the Dockerfile, just the
Software Collections tools.  Test that our packages correctly declare
their dependency on the relevant Software Collection, and that it gets
pulled in.  We want to tell users to install this way, so this makes
sure it's working.

Refs #7953, #7957.

Merge branch '7829-package-licenses-wip'

Refs #7829.  Closes #7913.

7829: Add licenses to Arvados software packages.

7953: Fix Docker image to test CentOS 6.6 packages.

Follows the same rationale as
bebf531a2cb9cf08843d6ac4d4ae2238d58efc2b.

Refs #7953.

Merge branch '7953-centos-scl-fix-wip'

Refs #7953.  Closes #7955.

7953: Fix Docker image to build CentOS 6.6 packages.

* Follow the Software Collections documentation at
  <https://wiki.centos.org/AdditionalResources/Repositories/SCL>.
  This downgrades us to Python 3.3, but that shouldn't be a
  problem, since we test and build packages for Debian 7 which uses
  Python 3.2.  On the plus side, it removes an external dependency
  on softwarecollections.org.

* The python-pip package disappeared.  I don't know where it went.
  Maybe there were changes to the underlying centos:6 Docker image?
  Install it manually.

Default run-deploy.sh to ssh port 22, and provide a command line option
to change the port.

No issue #

refs #7710
Merge branch '7710-add-go-sdk-crunchrunner'

7839: Stop backporting requests for Python 2.

This is no longer needed now that our Keep client is built on top of
pycurl.  Confirmed by building all our Python packages from source
into a fresh virtualenv.  requests does not appear in `pip freeze`.

requests is still needed for Python 3 because docker-py uses it.

Closes #7839.

7710: add crunchrunner to gostuff

refs #7253
Merge branch '7253-add-go-sdk-manifest'

Merge branch 'master' into 7253-add-go-sdk-manifest

7253: add sdk/go/blockdigest to gostuff

Force pbr<1.7.0 when installing mock.

No issue #

7253: add sdk/go/manifest to gostuff

refs #7490
Merge branch '7490-datamanager-test'

7490: add services/datamanager/keep to gostuff

Merge branch '5824-keep-web-workbench' refs #5824

Merge branch '7593-arvados-cwl-runner' refs #7593

Merge branch '7722-build-keep-rsync' closes #7722

Merge branch '7591-httplib2-perms-fix-wip'

refs #7591

7591: Workaround bad permissions in the httplib2 backport.

5824: Merge branch 'master' into 5824-keep-web-workbench

Add libwww-perl and python mock dependencies, so tests can run on ubuntu 14.04

If we let setuptools install mock for us (because it's listed in
tests_require), "python setup.py test" fails:

running test
Searching for mock>=1.0
Best match: mock 1.3.0
Processing mock-1.3.0-py2.7.egg

Using /tmp/arvados/sdk/python/.eggs/mock-1.3.0-py2.7.egg
Traceback (most recent call last):
  File "setup.py", line 49, in <module>
    cmdclass={'egg_info': tagger},
[...]
  File "/tmp/.cache/arvados-build/VENVDIR/local/lib/python2.7/site-packages/pkg_resources/__init__.py", line 2910, in scan_list
    raise RequirementParseError(msg, line, "at", line[p:])
pkg_resources.RequirementParseError: Expected version spec in funcsigs;python_version<"3.3" at ;python_version<"3.3

No issue #

7722: Build keep-rsync package. Deduplicate go->fpm recipe.

arvados-api-server-upgrade.sh fix: do not try to chmod the cache
directory if it doesn't exist. This avoids an error on fresh install.
Rails will create the cache directory if it doesn't exist.

No issue #

Merge branch '5824-keep-web'

refs #5824

5824: Start keep-web service for Workbench integration tests.

5824: Add services/keep-web

Remove unnecessary yum update.  touch RPM database to work around overlayfs bug.
refs #7370

Obsoleted by run-build-packages-all-targets.sh --test-packages refs #7370

reverted hkp port 80 explicitly

no issue #

Make sure that the CentOS 6 test script actually does the yum update call.

refs #7370

7593: Add sdk/cwl to package building.

Add python-pip to the Arvados build images.

this is a dependency for #7591 (refs #7591)

hkp://pool.sks-keyservers.net:80 is needed to use the transaparent proxy

no issue #

Fix path issue when running run-build-packages-all-targets.sh from
another directory.

refs #7370

Make sure bundle is installed in arvados-api-server-upgrade.sh,
arvados-workbench-upgrade.sh and arvados-sso-server.postinst

No issue #

Merge branch '7370-package-install-testing' closes #7370

Shut up dpkg-scanpackages warnings.

refs #7370

Backport pbr < 1.0 on CentOS 6.

The lockfile backport grew a dependency on pbr < 1.0 in their version
0.11.  No issue #.

7370: run-build-packages-all-targets hands off to run-build-packages-one-target, suppports --test-packages option.

7370: Fix centos6 package builder container.

Merge branch 'master' into 7370-package-install-testing

Conflicts:
jenkins/run-build-packages-one-target.sh

7370: Refactoring way the package test is set up and executed.