Improve error handling and reporting in run-cwl-test.sh script. no issue #

Merge branch '10194-arvados-jobs-version' refs #10194

10194: Make sure to install the version of arvados/jobs that arvados_cwl expects.

Remove excess params in debug message. No issue #

Bug fixes. No issue #

* Fix syntax errors and logging bug
* Use docker tag --force flag only if offered by docker tag --help
* Detect/fix wrong group_class (bug in install docs)

Add install-arvados-jobs-image script. No issue #

run-cwl-test.sh needs one more permission in its scoped token.

No issue #

Add required permissions for run-cwl-test.sh

refs #9459

Upgrade run-cwl-test.sh a bit:

* no longer run as root on the destination (ugh, seriously!)
* make it set up its requirements itself if they aren't present

No issue #

fixed bug on the way we deploy docker arvados/jobs image.

The group wasn't added to arvados/jobs image, making the query of CWL runs using an old image, with an old cwl-runner

refs #9856

Merge branch '9784-update-scopes' closes #9784

Remove CWL test exclusions, no issue #

9784: Update scopes to the ones actually in use by CI.

Use wrapper to enable checksums in cwl conformance tests.

refs #9552

added run-cwl-test.sh  for running cwl-test on the clusters

refs #9459

Make sure to tag the docker image as latest even if it already exists.

refs #9254

Merge branch '9254-latest-tag'

refs #9254

9254: adding latest tag https://dev.arvados.org/issues/9254#note-4

refs #9254

Merge branch '8750-run-deploy-in-parallel'

closes #8750

run_upload_packages: Improve names around run_and_grep.

No issue #, just easier to comprehend I hope.

run_upload_packages ensures destination scp directory exists.

This prevents build failures like
<https://ci.curoverse.com/job/build-packages-sso/24/console>.
No issue #.

Merge branch '9309-python-redundant-upload-wip'

Refs #9309.  Closes #9393.

8750: parallel deploy is working

in the old code there was a serial excecution that collected exitcodes
EXITCODE=$(($EXITCODE + $ECODE))

in the new code we'll have to re-think this. But this first commit actually deploys in parallel

9309: run_upload_packages checks for re-upload errors from PyPI.

We are getting this new error after upgrading ci to jessie.

Merge branch '9309-centos7-uplaods-wip'

Refs #9309.

9309: Add support for uploading centos7 packages.

9224: Update each TimestampFile after upload.

This is a follow-up to 2fecb120e5b9be7a85f209e90114731f3e95f709.

Remove a bunch of files that were moved to the arvados repository.

No issue #

We need a per-target last_upload timestamp file.

refs #9224

CWL build script maintenance.  refs #8980

adding an extra script for parallel puppet runs

refs #8750

The upload script now uses a per-distro tmp directory.

No issue #

Fix backports dir search for PACKAGE="llfuse==0.41.1". refs #8345

Merge branch '8345-llfuse-unpin' refs #8345

8345: Need "yum install -y" to reliably install rpm packages.

8345: 8491: Downgrade to llfuse 0.41 until #8345 gets sorted out (but keep the fuse backports).

Get the go binary from a http url instead of https, so that our
transparent proxy can cache it.

No issue #

Build package for arvados-cwl-runner.

refs #8671

refs #8558
Merge branch '8558-add-cwl-jenkins'

8558: add cwl to jenkins

8345: Uninstall old llfuse from reused virtualenv, if necessary.

8345: Merge branch 'master' into 8345-llfuse-unpin

8345: Fix up log messages to show which distro/package is being built/tested.

8345: Build contextlib2 backport, needed by python-llfuse on debian7.

8345: Add build-essential to ubuntu1204 package-building image

8345: Build and install new fuse libs before building llfuse.

Build arvbox instead of the old docker images.

refs #8231

8345: Use a separate vendor/cache for each OS target. See dev.arvados.org/issues/8345#note-11

Remove arvbox from arvados-dev (now in arvados/tools) refs #8231

Merge branch 'master' into 8345-llfuse-unpin

8371, 8413: Bump Rails package iteration.

Build these bug fixes into new packages.
Closes #8371, #8413.

Merge branch '8413-fix-rails-postinst-chgrp-wip'

Refs #8413.  Closes #8475.

8413: Rails postinst doesn't chgrp root /etc/arvados.

Non-sensitive Rails configuration files can be 0644 root:root.
Porting those permissions is fine for the individual configuration
file, but not the parent directory tree.  Don't change the group of
the directory tree in this case.

Merge branch '8371-centos-postrm-bugfix-wip'

Refs #8371.  Closes #8476.

8371: Rails postrm only fires after removing last RPM.

This prevents removing the package files when the postrm script is
called for the old version of a package after doing an upgrade.

RPM post- scripts are called with $1 as the number of versions of the
package currently installed on the system.  0 means the last version
has been removed.  We only want to remove files in that case.

Merge branch 'arvbox-fixes' no issue #

Tweak slurm configuration to run as non-root user.

Fix arvados-login-sync for vm account creation

Generalize arvbox 'svrestart' to 'sv' no issue #

Merge branch 'master' into 8345-llfuse-unpin

Conflicts:
jenkins/run-build-packages.sh

Install bundler gem in all build containers.

RVM used to install bundler by default, but now it doesn't.

https://github.com/rvm/rvm/commit/dc07790042d78c525d7d52616c78cb2d55c0e764

I suppose some systems (like Jenkins) have been able to continue
working because they have cached docker images that were built before
RVM dropped bundler (1.26.11 -- Mar 30, 2015).

But on a new system, we ended up here:

[...]
Package python3-websocket-client_0.35.0-1_all.deb exists, not rebuilding
/jenkins/run-library.sh: line 139: bundle: command not found
ERROR: arvados-api-server package prep failed
/jenkins/run-build-packages.sh: line 492: bundle: command not found
ERROR: Asset precompilation failed
ERROR:  build failed with exit status 1.

No issue #

Fix dependencies after installing built package. refs #8345

Pin package builds of the google-api-python-client and oauth2client
packages to a known-working version.

no issue #

8345: Add libselinux-dev build-dep missed by awk script, skip "recommended" packages

uses variable for curl output filename and makes curl foLlow redirects

cleans up debian/changelog generation per tomclegg's comment

adds safety quotes and '-[0-9]' before wildcard as suggested in PR #6 comments

adds safety quotes and '_' before wildcard as suggested in PR #6 comments

Run slurmctld and slurmd inside arvbox. refs #6518

Move services to /var/lib/arvbox/services because they include logs and logs
don't go in /usr. no issue #

Explicitly install Docker 1.9.1 instead of using get.dockerproject.org (which gets the latest). no issue #

Add crunch-dispatch-local to arvbox.  no issue #

Add arvbox support for overriding settings in application.yml
no issue #

adds centos6 backport of fuse 2.9.2

Unpins llfuse version and adds fuse 2.9.2 backport

Inhibit udev startup in Debian test Docker images.

The FUSE driver package depends on fuse, which depends on udev.
udev can't start its daemon from postinst in a container.
It has code to try to detect running in a container and skip the
daemon, but it fails intermittently.
e.g., <https://ci.curoverse.com/job/build-packages/1699/consoleFull>
It also skips starting the daemon when /etc/udev/disabled exists, so
create that.

.deb dependencies from Python packages ignore iteration.

See comment for rationale.
Inspired by <https://github.com/curoverse/arvados/pull/35>.
No issue #.

Pin llfuse to 0.41.1 because 0.42 came out and broke things.  no issue #

Add distinct fpm_exclude so it shows up in the right place on the fpm command
line.  refs #8008

Use volumes for /var/log/nginx and /etc/ssl/private so that changing ownership
sticks. refs #8080

Arvbox fixes: use 'postgres' database when testing if a user exists.  Copy
gitolite.rc to the right place.  Print out what is being deleted when using
"reset" or "destroy". refs #8080

chown /etc/ssl/private to arvbox refs #8080

Bump iteration of rails packages to -4 refs #8008

Fix selecting most recent package for package testing, refs #8008.

8008: Make dependencies for build-dockerfiles.

We've apparently never had code to do this before.  I guess all
deployments had the dependencies generated by hand before running.
This makes them automated to fix failures like
<https://ci.curoverse.com/job/build-packages/1668/console>.
Refs #8008.

Fix markdown for arvbox README.md refs #8080

Add "status" command, refs #8080

Just create arvbox superuser instead of creating a whole useless database.
Check directly whether creating the arvbox is required. refs #8080

Make sure not to accidentally include config/application.yml and
config/database.yml in our rails packages, take 2: make sure that
config/database.yml *is* present in our workbench packages, where we
want to include it.

No issue #

Merge branch '8066-git-init-from-postinst'

closes #8066

Some review fixes.

closes #8066

Merge branch 'master' into 8066-git-init-from-postinst

Make sure not to accidentally include config/application.yml and
config/database.yml in our rails packages.

No issue #

Bump libcloud package version pin to 0.20.2dev1 refs #8235

Merge branch '8008-test-all-packages' closes #8008

8008: Tweak error code reporting.  Remove debugging line.

8008: Quote more variables in package test scripts.

refs #8028
Merge branch '8028-crunch-dispatch-local'

Merge branch 'master' into 8028-crunch-dispatch-local

Conflicts:
jenkins/run-tests.sh

Document some arvbox hw/sw requirements refs #8080