8750: parallel deploy is working

in the old code there was a serial excecution that collected exitcodes
EXITCODE=$(($EXITCODE + $ECODE))

in the new code we'll have to re-think this. But this first commit actually deploys in parallel

Merge branch '9309-centos7-uplaods-wip'

Refs #9309.

9309: Add support for uploading centos7 packages.

9224: Update each TimestampFile after upload.

This is a follow-up to 2fecb120e5b9be7a85f209e90114731f3e95f709.

Remove a bunch of files that were moved to the arvados repository.

No issue #

We need a per-target last_upload timestamp file.

refs #9224

CWL build script maintenance.  refs #8980

adding an extra script for parallel puppet runs

refs #8750

The upload script now uses a per-distro tmp directory.

No issue #

Fix backports dir search for PACKAGE="llfuse==0.41.1". refs #8345

Merge branch '8345-llfuse-unpin' refs #8345

8345: Need "yum install -y" to reliably install rpm packages.

8345: 8491: Downgrade to llfuse 0.41 until #8345 gets sorted out (but keep the fuse backports).

Get the go binary from a http url instead of https, so that our
transparent proxy can cache it.

No issue #

Build package for arvados-cwl-runner.

refs #8671

refs #8558
Merge branch '8558-add-cwl-jenkins'

8558: add cwl to jenkins

8345: Uninstall old llfuse from reused virtualenv, if necessary.

8345: Merge branch 'master' into 8345-llfuse-unpin

8345: Fix up log messages to show which distro/package is being built/tested.

8345: Build contextlib2 backport, needed by python-llfuse on debian7.

8345: Add build-essential to ubuntu1204 package-building image

8345: Build and install new fuse libs before building llfuse.

Build arvbox instead of the old docker images.

refs #8231

8345: Use a separate vendor/cache for each OS target. See dev.arvados.org/issues/8345#note-11

Remove arvbox from arvados-dev (now in arvados/tools) refs #8231

Merge branch 'master' into 8345-llfuse-unpin

8371, 8413: Bump Rails package iteration.

Build these bug fixes into new packages.
Closes #8371, #8413.

Merge branch '8413-fix-rails-postinst-chgrp-wip'

Refs #8413.  Closes #8475.

8413: Rails postinst doesn't chgrp root /etc/arvados.

Non-sensitive Rails configuration files can be 0644 root:root.
Porting those permissions is fine for the individual configuration
file, but not the parent directory tree.  Don't change the group of
the directory tree in this case.

Merge branch '8371-centos-postrm-bugfix-wip'

Refs #8371.  Closes #8476.

8371: Rails postrm only fires after removing last RPM.

This prevents removing the package files when the postrm script is
called for the old version of a package after doing an upgrade.

RPM post- scripts are called with $1 as the number of versions of the
package currently installed on the system.  0 means the last version
has been removed.  We only want to remove files in that case.

Merge branch 'arvbox-fixes' no issue #

Tweak slurm configuration to run as non-root user.

Fix arvados-login-sync for vm account creation

Generalize arvbox 'svrestart' to 'sv' no issue #

Merge branch 'master' into 8345-llfuse-unpin

Conflicts:
jenkins/run-build-packages.sh

Install bundler gem in all build containers.

RVM used to install bundler by default, but now it doesn't.

https://github.com/rvm/rvm/commit/dc07790042d78c525d7d52616c78cb2d55c0e764

I suppose some systems (like Jenkins) have been able to continue
working because they have cached docker images that were built before
RVM dropped bundler (1.26.11 -- Mar 30, 2015).

But on a new system, we ended up here:

[...]
Package python3-websocket-client_0.35.0-1_all.deb exists, not rebuilding
/jenkins/run-library.sh: line 139: bundle: command not found
ERROR: arvados-api-server package prep failed
/jenkins/run-build-packages.sh: line 492: bundle: command not found
ERROR: Asset precompilation failed
ERROR:  build failed with exit status 1.

No issue #

Fix dependencies after installing built package. refs #8345

Pin package builds of the google-api-python-client and oauth2client
packages to a known-working version.

no issue #

8345: Add libselinux-dev build-dep missed by awk script, skip "recommended" packages

uses variable for curl output filename and makes curl foLlow redirects

cleans up debian/changelog generation per tomclegg's comment

adds safety quotes and '-[0-9]' before wildcard as suggested in PR #6 comments

adds safety quotes and '_' before wildcard as suggested in PR #6 comments

Run slurmctld and slurmd inside arvbox. refs #6518

Move services to /var/lib/arvbox/services because they include logs and logs
don't go in /usr. no issue #

Explicitly install Docker 1.9.1 instead of using get.dockerproject.org (which gets the latest). no issue #

Add crunch-dispatch-local to arvbox.  no issue #

Add arvbox support for overriding settings in application.yml
no issue #

adds centos6 backport of fuse 2.9.2

Unpins llfuse version and adds fuse 2.9.2 backport

Inhibit udev startup in Debian test Docker images.

The FUSE driver package depends on fuse, which depends on udev.
udev can't start its daemon from postinst in a container.
It has code to try to detect running in a container and skip the
daemon, but it fails intermittently.
e.g., <https://ci.curoverse.com/job/build-packages/1699/consoleFull>
It also skips starting the daemon when /etc/udev/disabled exists, so
create that.

.deb dependencies from Python packages ignore iteration.

See comment for rationale.
Inspired by <https://github.com/curoverse/arvados/pull/35>.
No issue #.

Pin llfuse to 0.41.1 because 0.42 came out and broke things.  no issue #

Add distinct fpm_exclude so it shows up in the right place on the fpm command
line.  refs #8008

Use volumes for /var/log/nginx and /etc/ssl/private so that changing ownership
sticks. refs #8080

Arvbox fixes: use 'postgres' database when testing if a user exists.  Copy
gitolite.rc to the right place.  Print out what is being deleted when using
"reset" or "destroy". refs #8080

chown /etc/ssl/private to arvbox refs #8080

Bump iteration of rails packages to -4 refs #8008

Fix selecting most recent package for package testing, refs #8008.

8008: Make dependencies for build-dockerfiles.

We've apparently never had code to do this before.  I guess all
deployments had the dependencies generated by hand before running.
This makes them automated to fix failures like
<https://ci.curoverse.com/job/build-packages/1668/console>.
Refs #8008.

Fix markdown for arvbox README.md refs #8080

Add "status" command, refs #8080

Just create arvbox superuser instead of creating a whole useless database.
Check directly whether creating the arvbox is required. refs #8080

Make sure not to accidentally include config/application.yml and
config/database.yml in our rails packages, take 2: make sure that
config/database.yml *is* present in our workbench packages, where we
want to include it.

No issue #

Merge branch '8066-git-init-from-postinst'

closes #8066

Some review fixes.

closes #8066

Merge branch 'master' into 8066-git-init-from-postinst

Make sure not to accidentally include config/application.yml and
config/database.yml in our rails packages.

No issue #

Bump libcloud package version pin to 0.20.2dev1 refs #8235

Merge branch '8008-test-all-packages' closes #8008

8008: Tweak error code reporting.  Remove debugging line.

8008: Quote more variables in package test scripts.

refs #8028
Merge branch '8028-crunch-dispatch-local'

Merge branch 'master' into 8028-crunch-dispatch-local

Conflicts:
jenkins/run-tests.sh

Document some arvbox hw/sw requirements refs #8080

Enable arvbox user to sudo to crunch user.  refs #8080

Add crunch-run to run-tests refs #7816

Fix gitolite-shell path refs #8080

added git_internal_dir init in postinst.sh

Merge branch '8080-arvbox' closes #8080

8080: fpm_depends comes before run-build-package commands; fpm_args comes after
run-build package commands.  Improve quoting.  Use sed -i.

8008: Move test files into their own directories.  Fix rails package tests to
work with debian & ubuntu.  Fix error code checking.

8008: SSO package tests pass for all targets.

8008: Incorporate SSO package testing into general package testing framework.

Fixing our fpm rails package building to handle fpm-info.sh.

8008: Run bundle install and bundle list for api server and workbench.

8080: Successfully tests all packages.  Produces before/after/diff lists for each package.

8008: Test each Arvados package individually.

8028: add services/crunch-dispatch-local

Merge branch '8014-rails-postinst-scripts-wip'

Refs #8014.  Closes #8036.

8014: Rails upgrade scripts are removed; don't run them in deploy script.

8014: Rails postinst script sets better default access for /etc/arvados.

8014, 8059: Unify Rails package building.

* Introduce a handle_rails_package function, and helpers, to build a
  Rails package.
* Generalize all the support scripts into unified postinst, prerm, and
  postrm scripts.  handle_rails_package builds these into the
  packages.  See jenkins/rails-package-scripts/README.md for details.
* More error checking throughout (e.g., check for failure when doing
  any prep work for Rails packages, or the Workbench packages
  specifically, using `set -e` in a subshell).

One behavior change from this unification: before this,
run-build-packages treated --build-bundle-packages to mean "*also*
build bundle packages", while run-build-packages-sso treated the
switch to mean "*only* build bundle packages".  This commit declares
run-build-packages to be the winner, and makes run-build-packages-sso
consistent with it.

Fix quoting of local variable assignments throughout.

When you assign a variable directly (e.g., `FOO=bar`), you don't need
to quote the RHS, because the shell doesn't do expansion in that
case.  But when you declare and assign a variable (e.g., `local
foo=bar`), you *do* potentially need to quote it, because `local` is a
command and all the normal expansion rules for running commands
applies.

8014: Clean database state detection in arvados-sso postinst.

* Remove unused status code capture.
* Use `grep -q`.  Previous versions of the script avoided it because
  they piped directly from rake tasks, which would get upset when the
  pipe broke.  Now that we capture all the output, that's no longer a
  concern.

8014: Introduce run_and_report function to arvados-sso postinst.

Use this to DRY up code that says "Doing something... done."
This commit removes some `|| exit $?` that's redundant with `set -e`.

8014: Improve conffile handling in arvados-sso postinst.

* DRY it up into a function.
* DATABASE_READY and APPLICATION_READY care about whether the
  corresponding .yml file is usable.  Always detect when it is
  unmodified from the .yml.example file.
* Build symlinks from /var/www to /etc in more cases where it's safe.

8014: arvados-sso postinst recognizes versioned Nginx service names.