6518: Dispatch to slurm using sbatch

closes #8441
Merge branch '8441-project-chooser'

Merge branch 'master' into 8441-project-chooser

Merge branch '8400-additional-gitignore' of https://github.com/wtsi-hgi/arvados closes #8400

8441: Update project chooser modal to display favorites and top-level-my-projects and remove the now unused build_project_trees and shared_project_tree code.

Merge branch '8319-bcbio-cwl' closes #8319

8319: Add log message about uploading docker image

closes #8286
Merge branch '8286-fav-projects'

8286: bigger star icon with stronger color contrast.

8319: Add environment variable to disable websockets.

8286: also include link to Home in favorites section of the Projects dropdown, so that the user does not have to scroll through all of his favorites to seek in MyProjects section.

Merge branch 'master' into 8286-fav-projects

closes #8079
Merge branch '8079-api-client-auth-uuid'

Merge branch 'master' into 8079-api-client-auth-uuid

8286: check if project is starred only when current_user is not null (anonymous user case).

8286: to facilitate in-place star icon refresh without the whole page refresh, it became necessary
to refresh the Projects menu after star/unstar action. Hence, moved the breadcrumbs code from
body.html into a partial.

8286: convert star method into action controller action and refresh the star icon in place rather than a full page refresh.

Merge branch 'master' into 8286-fav-projects

closes #8183
Merge branch '8183-projects-dropdown'

Merge branch 'master' into 8183-projects-dropdown

8286: include favorites and top-level my projects in projects drowdown.

8409: Use 80% utilization as keep_cache_mb_per_task reporting threshold. refs #8409

8079: add rescue to drop index

Merge branch '8183-projects-dropdown' into 8286-fav-projects

Conflicts:
apps/workbench/app/controllers/application_controller.rb
apps/workbench/app/views/application/_projects_tree_menu.html.erb
apps/workbench/test/controllers/projects_controller_test.rb

Merge branch 'master' into 8183-projects-dropdown

Merge branch '8178-trash-interface-generic-volume-test' closes #8178

8178: Stop accepting zeroed data, now that the s3test bug is fixed.

8178: add generic volume tests for trash / untrash interface.

Merge branch 'master' into 8079-api-client-auth-uuid

8183: display top three levels of projects in menu, improve message when there are too many projects, improve the test.

Process live logs for unfinished jobs in pipeline mode, too.

No issue #

8183: retrieve only 3 levels of projects while building projects dropdown.

8203: crunch-job tempfails after failing to install a Docker image.

* Use `bash -o pipefail` to run the image installer shell script, to
  reliably detect more failures.
* Exit EX_RETRY_UNLOCKED after a failure to install the image.

Refs #8203, because I'm cautiously optimistic that this will reduce
the incidence of the "can't find UID" problem.

8183: while displaying "my projects" tree, just show only the user's projects and omit shared projects
even when there are no more than 300 projects to avoid confusion.

Merge branch 'master' into 8183-projects-dropdown

8286: add an integration test to star / unstar project by clicking on the icon.

8286: added test "unshare project and verify that it is no longer included in shared user's starred projects"

Merge branch '8409-report-keep-cache' closes #8409

8409: Adjust recommended miss rate to below 0.2%

8409: Add recommendation if cache miss rate is above 0.5%.  Fix tests.

8409: Report Keep cache miss rate & Keep cache utilization

Build python-glags backports < version 3.0.

No issue #.

Merge branch 'master' into 8286-fav-projects

8079: add down migration to api_client_authorizations_search_index

Pin PySDK's gflags dependency to <3.0.

We've built and tested with 3.0 successfully, but its ChangeLog says:

  * A lot of potentially backwards incompatible changes since 2.0.
  * This version is NOT recommended to use in production. Some of the files and
    documentation has been lost during export; this will be fixed in next
    versions.

We found out about this after 3.0.2 broke our tests.
Take their advice for now.  No issue #.

Merge branch 'master' into 8286-fav-projects

Merge branch '8341-crunchstat-job-time-axis'

Merge branch 'master' into 8079-api-client-auth-uuid

8079: Added support get using uuid and list using uuid or api_token and added tests.

8341: Fall back to live logs if log collection is saved but missing.

8341: Update test results.

8341: Retrieve only the log attributes that actually get used.

8341: In pipeline mode, process all jobs concurrently.

8341: Include Keep network activity in net stats.

8341: Fix up debug labels. Avoid deadlock after exceptions in thread.

8341: Do not round up Y axis to even numbers, just use max series value.

Remove Y axis labels (so X axis matches other graphs from the same
job), add grid lines.

8341: Use "time since job start", not "time since task start", as X axis.

Merge branch '8284-fix-slurm-queue-timestamp-check' closes #8284

Emit log when installing docker image.

Avoids creating the illusion that "clean work dirs" is taking forever.

No issue #

Merge branch '7263-better-busy-behavior' refs #7263

7263: Avoid getting stuck processing stderr for one task for a long time.

Do not sleep(0.1) unless pipes are idle.

crunch-job detects more "io aborted" SLURM errors.

It's seemingly random whether SLURM reports "Aborting, io aborted and
missing step" or "Aborting, missing step and io aborted".  Extend the
regexp to catch both.  No issue #.

Merge branch '8406-tempfail-after-retry-unlocked'

Closes #8406, #8407.

8406: Update comment to match new code.

8406: @job_retry_counts.include? jobrecord.uuid because @job_retry_counts has a default value.

8406: Treat EXIT_TEMPFAIL as EXIT_RETRY_UNLOCKED if we have previously gotten
EXIT_RETRY_UNLOCKED (because the job is now in "Running" state.)

I "fonud" a typo

no issue #

Merge branch '8404-catch-interrupted-syscall' closes #8404

8404: Adjust try block to just surround os.wait().

8404: catch and continue from interrupted system call from os.wait()

8079: add uuid to api_client_authorizations_search_index and add uuid to all api_client_authorizations test fixtures.

8079: update the migration script to use the api_token as the seed

8079: add uuid to api_client_authorizations

Fix nodemanager test race. No issue #

Merge branch '8341-live-crunchstat-summary' refs #8341

8341: Use a Queue of lines and one thread, instead of a succession of threads and a deque of buffers.

8341: Move reader classes to reader.py.

8341: Use a worker thread to get page N+1 of logs while parsing page N.

8341: Get job log from logs API if the log has not been written to Keep yet.

Merge branch '8289-no-extra-orders' closes #8289

8289: Strip redundant orders, even when provided explicitly by client.

8289: Do not add fallback orders if client already specified an unambiguous order.

Adds additional .gitignore entries

Ignores:
apps/workbench/git-commit.version
sdk/perl/install/
services/api/git-commit.version

Merge branch '7667-node-manager-logging' refs #7667

7667: Store node size in a table so to avoid blocking on booting and shutdown
actors to ask node size.

7667: Fix log message

Merge branch '8285-fuse-subscribe-websockets' closes #8285

8285: Test that arvados.events.subscribe() is called only when needed.

Add missing TagsDirectory.want_event_subscribe().

8285: Add test for listen_for_events

8183: add test to check build of my projects tree with the new method; update the method implementation
to accommodate testing by make the page_size an argument.

8285: Add want_event_subscribe flag to subclasses of fusedir.Directory,
determine whether to call listen_for_events based on it.

8183: When there are more than 200 readable projects, build the tree in steps;
fetch projects under home, then subprojects under those projects and so on
until we exceed the 200 limit. In that case, also display a message in Projects
dropdown informing the user that all projects are not retrieved.
The chooser version of the project tree is untouched (and hence not performing well)
until we have the favorite projects implementation is in place. This is because
there is no search capability in the chooser dialog and hence no way to choose a
shared project when the limit is exceeded in this new top-down approach.

7667: Combine polling logs into fewer lines for less noise.  Adjust message
when last_ping_at is unexpectedly none to be less severe (can happen in
innocent circumstances).  Report nodes in "booted" list as "booting" since they
are unpaired.  Fix tests.

7868: Update API server's arvados-cli version.

Curoverse clusters are deployed by setting CRUNCH_JOB_BIN,
effectively excluding it from the bundle, but this is not true for
clusters deployed following the install guide.  Out of the box,
they'll use the version of crunch-job that's actually in the
arvados-cli gem in the bundle.

crunch-dispatch has functionality in it that requires a newer
arvados-cli, so update accordingly.  This is not exactly the version
produced by #7868, but it's pretty close.

I think there's a strong case that we should update this version
whenever we make a substantial change to crunch-job.  But since I'm
pushing this without discussion or review, I'm doing the smallest
thing possible.

Refs #7868.

7667: Node manager bug fixes and logging improvements.

 * ComputeNodeSetupActor will now finish if there is an unhandled exception.

 * ComputeNodeMonitorActor now explains why a node that is in the shutdown window
is not eligible for shutdown.

 * Logging in nodes_wanted now distinguishes idle/busy/booting/shutting down.

 * Logging by actors is now class name and a portion of the actor urn, so actions
of a specific actor can be consistently identified.

Recognize another way slurm tells us about node failures.

Retry, instead of giving up, in situations like this:

2016-02-02_08:42:26 wx7k5-8i9sb-guk2lv53z3572dc 40682 3 stderr srun: error: Aborting, io error and missing step on node 0
2016-02-02_08:42:26 wx7k5-8i9sb-guk2lv53z3572dc 40682 3 stderr srun: Job step aborted: Waiting up to 2 seconds for job step to finish.
2016-02-02_08:42:28 wx7k5-8i9sb-guk2lv53z3572dc 40682 3 stderr srun: error: Timed out waiting for job step to complete
2016-02-02_08:42:28 wx7k5-8i9sb-guk2lv53z3572dc 40682 3 child 42984 on compute26.1 exit 0 success=
2016-02-02_08:42:28 wx7k5-8i9sb-guk2lv53z3572dc 40682 3 ERROR: Task process exited 0, but never updated its task record to indicate success and record its output.
2016-02-02_08:42:28 wx7k5-8i9sb-guk2lv53z3572dc 40682 3 failure (#1, permanent) after 560 seconds
2016-02-02_08:42:28 wx7k5-8i9sb-guk2lv53z3572dc 40682 3 task output (0 bytes):

No issue #

Merge branch '8288-poll-client-close-timeout' refs #8288

8288: Add timeout option to close() method of event clients.

Previously in EventClient, close() didn't wait for anything. Now, if a
timeout is given, it waits for ws4py to call the closed() callback to
indicate the connection has closed.

Previously in PollClient, close() waited indefinitely for the polling
thread to terminate.  This can take a very long time if, for example,
there are multiple subscriptions and the "get logs" API transaction is
slow.

The only apparent reason a caller would want to wait here at all is to
guarantee the simplifying assumption the on_event() callback is never
called after close().  Now, instead of letting the thread run until
all events are received and handled, PollClient achieves this the same
way EventClient does: ignore events that arrive after close().

8183: set limit on my_toplevel_projects

8183: show only toplevel projects in the Projects dropdown in breadcrumbs.