run-tests: make the error message displayed when WORKSPACE isn't set a
bit prettier.

No issue #

closes #4156
Merge branch '4156-enable-cli-tests'

4156: Since all the cli tests that require apiserver are skipped, all cli tests pass now. Hence, do not skip running cli tests anymore.

Refactor deploy script a bit; make it less sensitive to transient errors
we don't care about.

No issue #

Do not blow up when another puppet process is already running during deploy.

No issue #

Build a python-jsonschema package, because cwltool requires version 2.4
which is newer than what's available in wheezy(-backports).

refs #4572

Also build a deb package for python-pyexecjs, which is a dependency for
cwltool

refs #4572

Package cwltool.

Refs #4572

Merge branch '4027-sdk-debian-packages-wip'

Refs #4027.  Closes #4557.

4027: Build packages for Ruby and Perl SDKs.

Retry docker push a few times if it fails.

No issue #

Also build a package for python-six.

No issue #

Export vars provided on command line, e.g., ARVADOS_DEBUG=1. No issue #

Refs #3857: Build modern requests package for PySDK.

Small tweaks: fix example for running one API test in run-tests.sh;
capitalize Arvados in easy-docker-install.sh

no issue #

Rename easy installation script. Update comments at the top of the script.

refs #4383

Add first version of the easy-evaluation script.

refs #4383

Make run-docker-tests.sh a bit smarter about detecting common failures.

No issue #

Make sure all executables we package are executable.

No issue #

Upload our docker images to the docker.io registry.

refs #4383

Clean up *.pyc files between tests.

closes #4313

Add services/crunchstat to test suite. refs #3826

Make run-deploy.sh a bit smarter about which compute nodes are actually
up.

Note: there are still race conditions to be addressed here. Or maybe
better, we probably just shouldn't care about compute node puppet runs
not completing succesfully. Either the node will get shut down by node
manager, or a regular hourly puppet run will DTRT.

No issue #

* exclude /usr/local/lib/python2.7/dist-packages/tests from our fpm packages

* exclude /usr/local/arvados/src/.git from the arvados-src package (bugfix)

No issue #

run-build-packages: Test that fpm is callable before trying to do
anything.

No issue #

Build a few more dependency packages for node manager.

refs #3244

4239: Build more dependencies of new google-api-python-client.

Refs #4239.

A few improvements for run-build-packages.sh:

* fix suggestion of env variable setting
* add a few new python packages that were split off from
  google-api-python-client in version 1.3
* print package name when fpm build goes wrong

No issue #

Add blacklist to commit hook.  no issue #

Make sure to catch the merge commit when doing git log in the directory
that is to be packaged.

No issue #

Upload our arvados/jobs image to the Docker Hub.

No issue #

2881: Re-enable Node Manager tests.

The work done in refs #4139 should make these more reliable.

2881: Skip Node Manager tests for now.

See comment for detailed rationale.  Refs #2881, #4139.

2881: run-tests tests the Node Manager.

Refs #2881.

Switch to human readable timestamps (YYYYMMDDhhmmss in UTC) for all our
debian packages.

No issue #

Improve output when fpm call fails.

No issue #

More updates for run-build-packages.sh:

* more code cleanups
* create node manager package

No issue #

Make run-build-packages.sh much more quiet by default. Also make
uploading optional. Change command line argument syntax to bring it in
line with run-tests.sh.

No issue #

Allow for run-diagnostics-suite.sh to pull the git revision to test from
a configuration file.

No issue #

Allow specification of revision to test with diagnostics suite.

No issue #

Fix stupid bug in run-diagnostics-suite.sh - destination config file
needs to be application.yml

No issue #

Parameterize the instance to run the diagnostics suite against.

No issue #

Merge branch '3848-build-packages-pyversion'

Refs #3848.  Closes #4110.

3848: build-packages respects egg-info versions.

Now that our setup.py files know how to introspect git and generate
build tags, build-packages can use that version number rather than
overriding it.

Remove spurious newline

No issue #

Add README, COPYING and agpl-3.0.txt.

No issue #

Make run-deploy.sh do a bit more work to update the rest of the staging
cluster.

No issue #

Deal with Jenkins' new, tight umask in a more thorough way.

No issue #

Make sure our generated packages are world-readable, otherwise they
won't be useful in the package repo.

No issue #

Add new run-diagnostics-suite.sh jenkins script.

No issue #

Merge branch '4038-commit-hooks-accept-fixes'

Closes #4038.

4038: add "fixes #" to acceptable merge commit messages

3848: Stop manually tagging Python builds.

This is now done in setup.py.  Refs #3848.

Improvements to our package building script: fill in more of the
metadata fields on the deb packages.

No issue #

run-tests.sh uses virtualenv's activate script.

The activate script takes care of additional isolation steps, like
clearing $PYTHONHOME and rehashing $PATH.  Prefer that over simply
setting $PATH ourselves.  No issue #.

Fix another -z that should have been -n. refs #3894

Merge branch '3894-improve-run-tests' closes #3894

3894: Add comments about CONFIGSRC in --help text.

3894: Fix -n that should have been -z. Flatten condition.

3894: Use --first-parent and readable timestamp in fuse package as
well. Use "tr -dc | cut" to eliminate the horrible list of byte
positions. Fix git command to use the desired human-readable timestamp
format.

3894: Use readable timestamp (yyyymmddhhmmss) for python package
version, and use first-parent to ensure each merge to master results
in a higher version number.

3894: Remove bundle install stage from sdk/cli.

3894: Move report_outcomes to a function.

3894: Use $GEMHOME tmpdir instead of user's $HOME for userspace gem installs.

3894: Add --help message.

Make regexp to match fpm's output slightly more robust.

no issue #

Switch from PRM to freight for publishing our packages. It's way, way
faster.

no issue #

Copy only the debs that were generated to the remote server.

No issue #

3894: Fix sequence: do all installs, then all tests.

3894: Use gem install --user-install to avoid sudo/rvm requirement

3894: Scrub PYTHONPATH

3894: Use mktemp instead of $WORKSPACE/tmpgit for test repo

3894: Fix backward empty/nonempty logic.

3894: Do not create and abandon new temp dirs if caller has already
provided existing ones. Never delete temp dirs supplied by caller even
if the caller (like the help text) forgets to specify --leave-temp.

3894: Accept WORKSPACE=foo on command line. Copy config from CONFIGSRC
instead of hard-coded location. Skip this if they don't exist in the
previously hard-coded location and CONFIGSRC is not given.

Undo two hunks that I accidentally committed in 565c31196f3ccd4346c8a1ac1e19b1deda22eea6.

no issue #

Add some robustness in the postgresql department.

no issue #

Only install the latest gem (i.e. the one we just built).

No issue #

Also build our java-bwa-samtools docker image.

no issue #

Fixes for the deploy stage of the build pipeline: actually upgrade our
debian packages and gems.

no issue #

Save a bit of time: do not install RI and RDoc for the gems we install
during testing.

no issue #

Install & test Ruby SDK, then use that version for other tests.

This commit gives our Ruby SDK the same treatment as other parts of
our build process: we build and install it early, then test it.  We
use that built version to run other tests, to make sure all the
components are synced up throughout the run.

This required turning off `bundle install --deployment`, because
Bundler will not use locally installed Gems in that mode.  This does
make our build process a little less like what we use in production,
but the benefits of consistent testing and tightening the build
loop (you can update a Gem and dependent Gemfiles in one push) seem
worth that cost.

Refs #3720.

Fix environment variable setting on command line.  no issue #

Fix $leave_temp in clear_temp() no issue #

Enhanced run-tests.sh command line supporting choosing specific Python and Ruby
tests, and re-using temp directories. no issue #

Declare empty variables up top to avoid bash parsing errors.  no issue #

Permit setting environment variables on command line.  Added workbench_test,
apiserver_test and cli_test variables to provide parameters to the respective
rake tests.  no issue #

Unset ARVADOS_ variable from the environment before running tests.  no issue #

Fix failure detection for python tests. No issue #

Install py test deps even if py tests fail. Make docs skippable. No issue #

Merge branch 'skip-args'

no issue #

Fix swapped install/test sections for fuse.

Display elapsed time for each test/install.

Add missing "install fuse" and "test workbench".

Cleanup, add some error checks, add --skip and --only args.

Remove duplicated cleanup commands; the realclean target takes care of
that now.

no issue #

keep is now called keepstore

refs #3551

Merge branch '3551-go-layout'

refs #3551

3551: Install Python and Go bits, force installation of Python test dependencies, *then* run tests.

3551: Fix dependency cycle: Install Python SDK, then install+test Go stuff, then test Python SDK.