8488: Determine actual output dir from reading logs.  Need to set
$(runtime.outdir) correctly for arvados-cwl-runner.

8373: Expand crunch-job regexp to detect more Keep temporary failures.

Closes #8373.

8231: Move arvbox README into install guide.

Merge branch '8015-crunch2-mount' closes #8015

Add 'tools/arvbox/' from commit 'd3d368758db1f4a9fa5b89f77b5ee61d68ef5b72'

git-subtree-dir: tools/arvbox
git-subtree-mainline: d77bf0c67422a259afacc17660698729328a1ed3
git-subtree-split: d3d368758db1f4a9fa5b89f77b5ee61d68ef5b72

8015: Fix typos in error reporting.  Fix tests.

Merge branch '6605-arv-copy-http' closes #6605

Merge branch 'master' into 8345-llfuse-unpin

7399: added test for partial line segment throttling.

6605: Add --allow-git-http-src and --allow-git-http-dst instead of looking at ARVADOS_API_HOST_INSECURE.

8099: 7263: Merge branch 'hgi/7263-even-better-busy-behavior' of github.com:wtsi-hgi/arvados into 8099-babysit-all-srun

Conflicts:
sdk/cli/bin/crunch-job

Workaround for https://bugs.python.org/issue7980. No issue #

Docs: Fix typo in run-command foreach example.

Reported in IRC.  No issue #.

8371, 8413: Bump Rails package iteration.

Build these bug fixes into new packages.
Closes #8371, #8413.

Merge branch '8413-fix-rails-postinst-chgrp-wip'

Refs #8413.  Closes #8475.

8413: Rails postinst doesn't chgrp root /etc/arvados.

Non-sensitive Rails configuration files can be 0644 root:root.
Porting those permissions is fine for the individual configuration
file, but not the parent directory tree.  Don't change the group of
the directory tree in this case.

Merge branch '8371-centos-postrm-bugfix-wip'

Refs #8371.  Closes #8476.

Merge branch '8437-nodemanager-on-failure' closes #8437

8437: Test all exceptions that should be caught.

Merge branch '8416-node-manager-find-node' closes #8416

8416: Don't catch exception from search_for, potentially hides exceptions we
wanted to see and the original intended behavior of re-raising the original
exception doesn't work anyway, because sys.exc_info is overwritten when the 2nd
exception is caught.

8488: Use OrderedJsonModel so that pipeline components show up in the order they were queued.

8371: Rails postrm only fires after removing last RPM.

This prevents removing the package files when the postrm script is
called for the old version of a package after doing an upgrade.

RPM post- scripts are called with $1 as the number of versions of the
package currently installed on the system.  0 means the last version
has been removed.  We only want to remove files in that case.

8488: Update cwltool pin

8437: Add missing test.

6518: strigger works

6518: Working on using strigger to update job records when crunch-run cannot.

8488: Fix output collection to accomodate reverse mapping fixes in cwltool.
Catch errors and mark pipeline as terminated.

Merge branch 'arvbox-fixes' no issue #

Tweak slurm configuration to run as non-root user.

Tweak slurm configuration to run as non-root user.

Fix arvados-login-sync for vm account creation

Fix arvados-login-sync for vm account creation

Generalize arvbox 'svrestart' to 'sv' no issue #

Generalize arvbox 'svrestart' to 'sv' no issue #

8437: Add FullStopActor which uses os.killpg() to terminate node manager on_failure.  Added test.

closes #5694
Merge branch '5694-running-job-log'

5694: remove the extra white space in log tab display.

8416: Remove find_node and use existing search_for feature.

Merge branch 'master' into 5694-running-job-log

7399: throttle partial segments of long lines to once every "n" seconds

6605: Use git -c instead of "git config" to set credentials.  Refuse to use
insecure http unless ARVADOS_API_HOST_INSECURE is also true.

8488: Update default arvados branch to master

8488: crunchrunner brings certificates with it to ensure that it can
communicate with API server from inside the container.

8488: Set certificate path.

5694: display 2000 historic log lines in running job's Log tab.

Fixes 8508 by creating a bad path explicitly

Rather than assuming we can't write to '/', this change
creates a temporary directory and then refers to a nonexistent
path within it.

Merge branch 'master' into 8345-llfuse-unpin

Conflicts:
jenkins/run-build-packages.sh

Install bundler gem in all build containers.

RVM used to install bundler by default, but now it doesn't.

https://github.com/rvm/rvm/commit/dc07790042d78c525d7d52616c78cb2d55c0e764

I suppose some systems (like Jenkins) have been able to continue
working because they have cached docker images that were built before
RVM dropped bundler (1.26.11 -- Mar 30, 2015).

But on a new system, we ended up here:

[...]
Package python3-websocket-client_0.35.0-1_all.deb exists, not rebuilding
/jenkins/run-library.sh: line 139: bundle: command not found
ERROR: arvados-api-server package prep failed
/jenkins/run-build-packages.sh: line 492: bundle: command not found
ERROR: Asset precompilation failed
ERROR:  build failed with exit status 1.

No issue #

Fix dependencies after installing built package. refs #8345

8099: When invoking setup tasks via srun, check slurm queue and propagate stderr to logs.

Pin package builds of the google-api-python-client and oauth2client
packages to a known-working version.

no issue #

8345: Add libselinux-dev build-dep missed by awk script, skip "recommended" packages

Merge branch '8484-sanity-check-collection-count' closes #8484

8484: Fix fixtures with modified_at=NULL

adds missing var collections SdkCollectionList

raises datamanager BatchSize from 50 to 1000

Merge branch '8485-datamanager-identical-modifiedat' of https://github.com/wtsi-hgi/arvados closes #8485

package building is failing because of bad version pinning

see https://ci.curoverse.com/job/build-packages/1733

no issue #

8488: Use crunchrunner binary instead of git repo

Pin google-api-python-client and oauth2client versions to deal with
incompatability between google api client and oauth2 client 2.0.  no issue #

uses variable for curl output filename and makes curl foLlow redirects

cleans up debian/changelog generation per tomclegg's comment

adds safety quotes and '-[0-9]' before wildcard as suggested in PR #6 comments

adds safety quotes and '_' before wildcard as suggested in PR #6 comments

Modifies sanity check to query for the total expected number of collections

Makes changes suggested by tomclegg in review of PR #39

6518: Add --share, quoting, shut down priority checking goroutine when
container state is complete.

6518: Log when container is cancelled.

Merge branch '8015-crunch2-mount' into 6518-crunch2-dispatch-slurm

6518: Dispatch to slurm using sbatch

Run slurmctld and slurmd inside arvbox. refs #6518

Run slurmctld and slurmd inside arvbox. refs #6518

closes #8441
Merge branch '8441-project-chooser'

Merge branch 'master' into 8441-project-chooser

Merge branch '8400-additional-gitignore' of https://github.com/wtsi-hgi/arvados closes #8400

6605: Check to see if each git URL works by using git ls-remote.
Preferentially use https.  Set GIT_ASKPASS=/bin/false to suppress asking for
credentials.

8441: Update project chooser modal to display favorites and top-level-my-projects and remove the now unused build_project_trees and shared_project_tree code.

Changes GetCollection loop to more reliably fetch all collections

Modifies the loop termination condition in GetCollection so that
it continues until there are no more items available according to
the API server (returned in collections.ItemsAvailable).

Modifies the query code so that it uses an offset to page through
results in case an entire batch has equal modified_at timestamps.

Merge branch '8319-bcbio-cwl' closes #8319

Adds sanity check on number of collections retrieved

Changes GetCollections() to return an error if the number
of collections retrieved is less than the initial number
of collections.

8319: Add log message about uploading docker image

closes #8286
Merge branch '8286-fav-projects'

8286: bigger star icon with stronger color contrast.

8319: Add environment variable to disable websockets.

8015: Fix tests again for endianness of Docker logs, added --read-write to arv-mount command line.

8286: also include link to Home in favorites section of the Projects dropdown, so that the user does not have to scroll through all of his favorites to seek in MyProjects section.

8015: Don't use Docker logging driver.  Attach stdout/stderr before starting container.

Move services to /var/lib/arvbox/services because they include logs and logs
don't go in /usr. no issue #

Move services to /var/lib/arvbox/services because they include logs and logs
don't go in /usr. no issue #

Merge branch 'master' into 8286-fav-projects

closes #8079
Merge branch '8079-api-client-auth-uuid'

Merge branch 'master' into 8079-api-client-auth-uuid

8286: check if project is starred only when current_user is not null (anonymous user case).

8286: to facilitate in-place star icon refresh without the whole page refresh, it became necessary
to refresh the Projects menu after star/unstar action. Hence, moved the breadcrumbs code from
body.html into a partial.

8015: check error when deleting temporary directory.

Explicitly install Docker 1.9.1 instead of using get.dockerproject.org (which gets the latest). no issue #

Explicitly install Docker 1.9.1 instead of using get.dockerproject.org (which gets the latest). no issue #

Add crunch-dispatch-local to arvbox.  no issue #

Add crunch-dispatch-local to arvbox.  no issue #