Add 'tools/arvbox/' from commit 'd3d368758db1f4a9fa5b89f77b5ee61d68ef5b72'

git-subtree-dir: tools/arvbox
git-subtree-mainline: d77bf0c67422a259afacc17660698729328a1ed3
git-subtree-split: d3d368758db1f4a9fa5b89f77b5ee61d68ef5b72

Merge branch '6605-arv-copy-http' closes #6605

6605: Add --allow-git-http-src and --allow-git-http-dst instead of looking at ARVADOS_API_HOST_INSECURE.

Workaround for https://bugs.python.org/issue7980. No issue #

Docs: Fix typo in run-command foreach example.

Reported in IRC.  No issue #.

Merge branch '8437-nodemanager-on-failure' closes #8437

8437: Test all exceptions that should be caught.

Merge branch '8416-node-manager-find-node' closes #8416

8416: Don't catch exception from search_for, potentially hides exceptions we
wanted to see and the original intended behavior of re-raising the original
exception doesn't work anyway, because sys.exc_info is overwritten when the 2nd
exception is caught.

8437: Add missing test.

Tweak slurm configuration to run as non-root user.

Fix arvados-login-sync for vm account creation

Generalize arvbox 'svrestart' to 'sv' no issue #

8437: Add FullStopActor which uses os.killpg() to terminate node manager on_failure.  Added test.

closes #5694
Merge branch '5694-running-job-log'

5694: remove the extra white space in log tab display.

8416: Remove find_node and use existing search_for feature.

Merge branch 'master' into 5694-running-job-log

6605: Use git -c instead of "git config" to set credentials.  Refuse to use
insecure http unless ARVADOS_API_HOST_INSECURE is also true.

5694: display 2000 historic log lines in running job's Log tab.

Merge branch '8484-sanity-check-collection-count' closes #8484

8484: Fix fixtures with modified_at=NULL

adds missing var collections SdkCollectionList

Merge branch '8485-datamanager-identical-modifiedat' of https://github.com/wtsi-hgi/arvados closes #8485

package building is failing because of bad version pinning

see https://ci.curoverse.com/job/build-packages/1733

no issue #

Pin google-api-python-client and oauth2client versions to deal with
incompatability between google api client and oauth2 client 2.0.  no issue #

Modifies sanity check to query for the total expected number of collections

Makes changes suggested by tomclegg in review of PR #39

Run slurmctld and slurmd inside arvbox. refs #6518

closes #8441
Merge branch '8441-project-chooser'

Merge branch 'master' into 8441-project-chooser

Merge branch '8400-additional-gitignore' of https://github.com/wtsi-hgi/arvados closes #8400

6605: Check to see if each git URL works by using git ls-remote.
Preferentially use https.  Set GIT_ASKPASS=/bin/false to suppress asking for
credentials.

8441: Update project chooser modal to display favorites and top-level-my-projects and remove the now unused build_project_trees and shared_project_tree code.

Changes GetCollection loop to more reliably fetch all collections

Modifies the loop termination condition in GetCollection so that
it continues until there are no more items available according to
the API server (returned in collections.ItemsAvailable).

Modifies the query code so that it uses an offset to page through
results in case an entire batch has equal modified_at timestamps.

Merge branch '8319-bcbio-cwl' closes #8319

Adds sanity check on number of collections retrieved

Changes GetCollections() to return an error if the number
of collections retrieved is less than the initial number
of collections.

8319: Add log message about uploading docker image

closes #8286
Merge branch '8286-fav-projects'

8286: bigger star icon with stronger color contrast.

8319: Add environment variable to disable websockets.

8286: also include link to Home in favorites section of the Projects dropdown, so that the user does not have to scroll through all of his favorites to seek in MyProjects section.

Move services to /var/lib/arvbox/services because they include logs and logs
don't go in /usr. no issue #

Merge branch 'master' into 8286-fav-projects

closes #8079
Merge branch '8079-api-client-auth-uuid'

Merge branch 'master' into 8079-api-client-auth-uuid

8286: check if project is starred only when current_user is not null (anonymous user case).

8286: to facilitate in-place star icon refresh without the whole page refresh, it became necessary
to refresh the Projects menu after star/unstar action. Hence, moved the breadcrumbs code from
body.html into a partial.

Explicitly install Docker 1.9.1 instead of using get.dockerproject.org (which gets the latest). no issue #

Add crunch-dispatch-local to arvbox.  no issue #

8286: convert star method into action controller action and refresh the star icon in place rather than a full page refresh.

Merge branch 'master' into 8286-fav-projects

closes #8183
Merge branch '8183-projects-dropdown'

Merge branch 'master' into 8183-projects-dropdown

8286: include favorites and top-level my projects in projects drowdown.

8409: Use 80% utilization as keep_cache_mb_per_task reporting threshold. refs #8409

8079: add rescue to drop index

Merge branch '8183-projects-dropdown' into 8286-fav-projects

Conflicts:
apps/workbench/app/controllers/application_controller.rb
apps/workbench/app/views/application/_projects_tree_menu.html.erb
apps/workbench/test/controllers/projects_controller_test.rb

Merge branch 'master' into 8183-projects-dropdown

Merge branch '8178-trash-interface-generic-volume-test' closes #8178

8178: Stop accepting zeroed data, now that the s3test bug is fixed.

8178: add generic volume tests for trash / untrash interface.

Merge branch 'master' into 8079-api-client-auth-uuid

8183: display top three levels of projects in menu, improve message when there are too many projects, improve the test.

Process live logs for unfinished jobs in pipeline mode, too.

No issue #

8183: retrieve only 3 levels of projects while building projects dropdown.

8203: crunch-job tempfails after failing to install a Docker image.

* Use `bash -o pipefail` to run the image installer shell script, to
  reliably detect more failures.
* Exit EX_RETRY_UNLOCKED after a failure to install the image.

Refs #8203, because I'm cautiously optimistic that this will reduce
the incidence of the "can't find UID" problem.

8183: while displaying "my projects" tree, just show only the user's projects and omit shared projects
even when there are no more than 300 projects to avoid confusion.

Merge branch 'master' into 8183-projects-dropdown

Add arvbox support for overriding settings in application.yml
no issue #

8286: add an integration test to star / unstar project by clicking on the icon.

8286: added test "unshare project and verify that it is no longer included in shared user's starred projects"

Merge branch '8409-report-keep-cache' closes #8409

8409: Adjust recommended miss rate to below 0.2%

8409: Add recommendation if cache miss rate is above 0.5%.  Fix tests.

8409: Report Keep cache miss rate & Keep cache utilization

Build python-glags backports < version 3.0.

No issue #.

Merge branch 'master' into 8286-fav-projects

8079: add down migration to api_client_authorizations_search_index

Pin PySDK's gflags dependency to <3.0.

We've built and tested with 3.0 successfully, but its ChangeLog says:

  * A lot of potentially backwards incompatible changes since 2.0.
  * This version is NOT recommended to use in production. Some of the files and
    documentation has been lost during export; this will be fixed in next
    versions.

We found out about this after 3.0.2 broke our tests.
Take their advice for now.  No issue #.

Merge branch 'master' into 8286-fav-projects

Merge branch '8341-crunchstat-job-time-axis'

Merge branch 'master' into 8079-api-client-auth-uuid

8079: Added support get using uuid and list using uuid or api_token and added tests.

8341: Fall back to live logs if log collection is saved but missing.

8341: Update test results.

8341: Retrieve only the log attributes that actually get used.

8341: In pipeline mode, process all jobs concurrently.

8341: Include Keep network activity in net stats.

8341: Fix up debug labels. Avoid deadlock after exceptions in thread.

8341: Do not round up Y axis to even numbers, just use max series value.

Remove Y axis labels (so X axis matches other graphs from the same
job), add grid lines.

8341: Use "time since job start", not "time since task start", as X axis.

Merge branch '8284-fix-slurm-queue-timestamp-check' closes #8284

Emit log when installing docker image.

Avoids creating the illusion that "clean work dirs" is taking forever.

No issue #

Merge branch '7263-better-busy-behavior' refs #7263

7263: Avoid getting stuck processing stderr for one task for a long time.

Do not sleep(0.1) unless pipes are idle.

crunch-job detects more "io aborted" SLURM errors.

It's seemingly random whether SLURM reports "Aborting, io aborted and
missing step" or "Aborting, missing step and io aborted".  Extend the
regexp to catch both.  No issue #.

Merge branch '8406-tempfail-after-retry-unlocked'

Closes #8406, #8407.

8406: Update comment to match new code.

8406: @job_retry_counts.include? jobrecord.uuid because @job_retry_counts has a default value.