Merge branch 'master' into 6939-package-sso-server

Conflicts:
jenkins/run-build-packages-all-targets.sh

refs #6939

Split out shared functions into a new run-library.sh.

refs #6939

First batch of improvements based on review feedback.

refs #6939

Add build script for the new Arvados SSO server package.

Also make the run-build-packages-all-targets.sh script a bit smarter so
that we can use it to build the SSO server package.

Add a run-build-packages-one-target.sh script to build any of our
Arvados packages for just one target.

refs #6939

Optimization: do not run bundle install for the API server package when
we aren't including the vendor directory in the package we're building.

No issue #

Optimization: do not run bundle install for the API server package when
we aren't including the vendor directory in the package we're building.

No issue #

Preinstall forked version of libcloud, because nodemanager "pip install" won't
pick it up by default.  refs #6507

run-build-packages-all-targets.sh should abort of WORKSPACE is not set.

No issue #

run-build-packages-all-targets.sh should abort of WORKSPACE is not set.

No issue #

Update/clarify package assumptions for api server and workbench.

No issue #

Merge branch '6781-arvados-login-sync' refs #6781

Stop building broken debs for our gems. We don't use them and they have
never worked. We can reintroduce a working version later.

refs #6781

6781: Add arvados-login-sync.

7041: pyvcf was missing from backports in trusty

refs #7041

6940: Use nginx as WWW_OWNER on Red Hat distributions.

We recommend deploying with Nginx, and this script interacts with
Nginx.  The default Nginx configuration that Phusion ships runs as the
nginx user on these distros.  Use that as the WWW_OWNER.

Ideally we want to move to a more sophisticated place where we
introspect the Web server configuration and use the same server it
does.  But for now, this is an improvement.

No issue #, but discovered when working on #6940.  I cleared this with
Ward.

Merge branch '6638-backport-deps' refs #6638

Make sure to also deploy switchyard.

No issue #

6638: Use (git clone; git checkout) -- git clone --branch doesn't work with commit hashes.

Performance optimization for the run_upload_packages.py script: only
rebuild the freight cache for the distribution that is being updated.

No issue #

6934: Add sdk/pam to run_upload_packages.py refs #6934

6638: Fix rvm usage error. Straighten out "need new gem" and "need to build new package from gem" logic.

6638: Add postgres libraries to build containers, so bundler can build the pg gem.

6638: Build current version of arvados-src, not github 

6638: Read package dependencies from fpm-info.sh in source tree.

6638: Dry up debug printfs.

Merge branch '6934-pam' refs #6934

6934: Build libpam-arvados only for targets that have libpam-python.

6934: Add libpam-python dependency on all targets.

6934: Merge branch 'master' into 6934-pam

6934: Package libpam-arvados using Python recipe. Add sdk/pam to run-tests.

Make sure that we build arvados-src package with the correct version of
the git tree, not latest.

No issue #

Fix logic bug in run-deploy: deploy api server first before gathering
the git revision from it to make sure the correct arvados/jobs docker
image is installed.

No issue #

Merge branch '6592-test-perl' refs #6592

6592: Build and install the Perl SDK so sdk/cli tests can use it.

Rebuild Python packages before building their distro packages.

Without this, built scripts lay around between builds, with shebang
lines for the first distro they were built for.  This can lead to
problems like Debian packages getting shebang lines for Red Hat
systems.  See, e.g.,
<https://ci.curoverse.com/job/deploy-to-staging/1250/console>.
No issue #.

Fix parameter ordering for minor change in cwltool command line semantics. no issue #

Merge branch '6691-trusty-packages-wip'

Refs #6691.  Closes #6742.

6691: Build and ship packages for Ubuntu 14.04.

Merge branch '6682-use-docker-build-cmd-wip'

Refs #6682.  Closes #6741.

6682: Add script to orchestrate builds for multiple targets.

Now that we can build packages for multiple targets, it's nice to have
a one-shot script to build them all.  This does that.

6497: Bugfix distro names for DebianPackageSuites.

freight is expecting a codename like wheezy or jessie, but we've been
using our internal distro+version names there.  This fixes that.

Nico gave a thumbs up to this patch.  Refs #6497.

one of the scopes wasnt working

closes #6700

scopes in usage() are wrong.

refs #6700

6750: arvados-api-server-upgrade only installs omniauth.rb if it exists.

New installs configure the SSO server via application.yml.  Refs #6750.

Merge branch '6497-separate-package-upload-wip'

Closes #6497, #6533, #6498.

6497: Separate package build and uploader scripts.

This lets us avoid redundant uploads as we build for multiple targets,
and lets us better customize the upload process per target.

run-build-packages had code to avoid doing an upload when there was no
new package to build.  run_upload_packages uses a timestamp file to
achieve a similar result.

Other changes to run-build-packages to support this:

* Better detection of when Python and Ruby packages have already been
  built.
* Refactor Gem building into a function to fix various bugs (wrong
  version checked for existing arvados-cli; distro packages not
  installed in the proper directory).
* Refactor git log querying to reduce code duplication.

added exit if git pull fails

no issue #

6656: python-arvados-python-client Recommends: git.

Because arv-copy uses it.  Refs #6656.

run-deploy.sh improvements: remove the need for a .ssh/config entry for
the shortname of each API server. Thanks for the suggestion Nico.

No issue #

Make sure jessie packages end up in the jessie repository.

No issue #

We need to force-tag the arvados/jobs docker image.

No issue #

freight is already smart enough to do atomic updates.

No issue #

Add dockerfiles/build-all-build-containers.sh script

refs #6504

Add datamanager tests. refs #3408

Build python3-websocket-client packages, which is now a dependency for
python3-docker-py, which is a dependency for arvados-docker-cleaner.

No issue #

Make sure we have a conference/environments/production.rb file so that
we generate the workbench assets correctly before packaging.

refs #6362

run_deploy.sh improvements:

* Make sure that group_class is included when creating the public docker
  images project.
* Document the required permissions for the arvados token needed to run
  run_deploy.sh

closes #6586

Add debian8 as a build target.

No issue #

Build arvados/jobs docker image separately from the others.

refs #6528

Add dependency on libpam-python to the libarvados-pam package.

refs #2256

Add libpam-arvados package build to run-build-packages.

refs #6384

Merge branch '6389-add-dockerfiles'

Closes #6389, #6456.

6388: Add Dockerfile to build packages on CentOS 6.

6389: Add Makefile to support Docker builds.

6389: Dockerfiles include the CMD to build packages.

Add dockerfiles for Debian7 and Ubuntu1204

refs #6389

Fix up git log statements:

* remove duplication between -n1 and --max-count=1
* make sure every git log statement has --first-parent

refs #6096

Small fixes for run-deploy.sh

refs #6096

Make run-deploy.rb install the correct version of the arvados/jobs
docker image on deploy.

refs #6096

Merge branch '6388-package-scripts-redhat-support-wip'

Refs #6388.  Closes #6480.

6388: Extend API server upgrade script to do initial database setup.

This will let administrators duplicating a lot of logic that already
exists in the script.

6388: Rails package upgrade scripts support Red Hat systems.

* Red Hat doesn't use the www-data account name.
* When nginx is installed from a Software Collection, it may have a
  name like `nginx16`.  Detect and use this.

Bugfix config:check error detection in Rails upgrade scripts.

The previous code was capturing the exit status of echo, which isn't
very interesting.  No issue #.

6377: Don't try to uninstall arvados* gems if they are not installed.

Fixes run-tests failure when no Ruby SDK is installed on the test host
and tmpdirs are new/empty. refs #6377

6377: Create user-specified tmpdirs if necessary. refs #6377

Add rsync to the repo update command in run-build-packages.

No issue #

Make sure to also build a backported package for python-llfuse. We need
it for writeable fuse.

refs #3198

Update comment references from 'debs' to 'packages'.

refs #6389

Drop built packages into packages/$TARGET instead of the old 'debs' directory.

Also, fix the 'find' test so that built packages are actually added to
the repository after upload.

refs #6389

Add ubuntu1204 target to run-build-packages.sh

refs #6389

Regex match fixes in the character class match for $FPM_RESULTS:

a) we want to match a literal dot, not any character

b) bash 4.2 does not support escaping a dash to include it in the
character class, move the dash to the last character listed in the class

refs #6389

6388: CentOS needs backports for python-daemon and its dependencies.

Refs #6388.

Additionally build and upload cwl-runner package.  no issue #

login patch because DockerHub is not friendly

no issue #

Merge branch '6388-python-backports-wip'

Refs #6388.  Closes #6425.

6388: Improve portability of Python backports in run-build-packages.

* Prefix package names with the same prefix used by the interpreter
  package, to avoid conflicts with system packages when we're using
  something like Software Collections.
* Always specify a dependency on that package.
* Exclude more test paths from packages to avoid conflicts.
* Do a little name munging to make sure that output package names
  match dependencies generated by fpm.

6388: CentOS 6 needs Python daemon and llfuse backported.

6388: Build specific backport versions for Python OAuth dependencies.

6388: Build PyCURL with NSS on CentOS 6.

6388: Remove old --apt-server switch from run-build-packages.

Refs #6388.

Merge branch '6388-centos-packages-wip'

Refs #6388.  Closes #6411.

6388: run-build-packages introspects more Python environment.

* Look for easy_install under a few different names.
* On CentOS, query the package that provides each Python, and list
  that as a dependency.

6388: Fix Arvados Perl SDK package build.

6388: Backport pycurl package everywhere.

We need the very latest version per #6073.

6388: Remove version munging from Python package builds.

This code was added to accommodate version numbers that did *not*
comply with PEP 440.  We've since fixed those, and they only include
alphanumerics and dots, so we don't need to munge them.

6388: run-build-packages records python2.7 dependency where needed.

6388: Add distro targets to run-build-packages.

This will provide us a single mechanism to make sure that packages are
built to run on a particular distribution: not just in terms of FPM's
output format, but also repository location, backports required, etc.

6388: Remove Debianisms from run-build-packages.

Make sure function and variable names don't refer to Debian when they
can also be used for Red Hat.

Fix asset generation in the workbench package. Make sure the build step will error out if asset generation fails for whatever reason.

No issue #

Do not build and upload gems that already exist on rubygems.

No issue #