2936: improve progress bar for failed jobs

Ensure that:

* All job progress bars reflect at least one task.  If a job has no
  tasks at all (done, failed, finished, or todo) that should be
  considered a failed job, so render a progress bar as though one task
  ran and failed.

* A failed job (j[:success] == false) always shows at least one failed
  task.  If a job is marked as failed but has no failed tasks, then
  pretend there was one failed task so at least some red will appear in
  the progress bar.

Fixes #2936.

Merge branch '2934-limit-crunch-logs'

Closes #2934

2934: document stderr messages for commit tests

Some unit tests for the Commit models issue alarming but expected git
error messages on stderr.  Added comments documenting these in
commits_controller_test.rb.

Refs #2934.

2934: add crunch_dispatch_test repository

Move files for crunch_dispatch_test to their own test fixture
repository.

Refs #2934.

Merge branch 'master' into 2934-limit-crunch-logs

Refs #2934

Fix infinite scroll in chooser. refs #2872

2934: add "bar" repository to test fixture

Add the "bar" repository to test/fixtures/repositories.yml so
CrunchDispatchTest may create a job using a commit from that
repository. (Change lost in a bad rebase.)

Refs #2934

2934: count events and bytes in-memory

To avoid thrashing the database, crunch-dispatch.rb counts log events
and bytes in RAM instead of reading the database each time.

Refs #2934.

Fix fuse driver tests broken by changes to test fixtures.  no issue #

2872: Merge branch '2872-folder-nav' closes #2872

2872: Add data binding for project names in dropdown.

2934: add launch_crunch_dispatch to integration test

Added functionality for launching crunch-dispatch in
crunch_dispatch_test.rb while integration tests are running.

Refs #2934.

Merge branch '2934-limit-crunch-logs' of git.curoverse.com:arvados into 2934-limit-crunch-logs

Fixing broken rebase

2872: Merge branch 'master' into 2872-folder-nav

Conflicts:
apps/workbench/app/controllers/jobs_controller.rb

Merge branch 'origin-2883-job-log-viewer' closes #2883

2753: Fix param name (filter -> filters).

2883: Moved addToLogViewer function out of the template and into assets and
reformatted it properly.

2872: Redirect to parent project after deleting a subproject.

2872: Fix provenance graph double-smart-scroll.

2961: Fix crash on pipeline_instances/compare.

2872: Fix test, to match fixed fixture.

2872: Move project_tree code into helper_methods, fix up tests.

2872: Fix bugs, tweak formatting

Merge branch '2879-docker-image-installer'

Refs #2879.  Closes #2998, #3006.

2879: arv-keepdocker reports a better error for ambiguous hashes.

Refs #2879.

2879: Clarify Docker image search behavior in Keep installer.

2879: Docker Keep installer returns 0 if image already installed.

2879: Add arv-keepdocker command.

This puts a Docker image in Keep, and makes Arvados links to help find
the Collection by the image's names.

2879: arv-put main() returns what it prints.

This will enable other tools to reuse the results.

2879: Move Python is_hex function to arvados.util.

2879: Split arv-put's ArgumentParser into module segments.

This will let us use different pieces as a parent parser for other
tools, which I plan to do for the Docker image uploader.

2879: Factor out arv-put's cache creation to a utility library.

This function will be useful for the Docker image uploader, and
probably other tools as well.

2755: Merge branch '2755-require-keep-permission' refs #2755

2755: Fix handling of stripped/orig manifest text.

2883: Added filtering for crunchstat, slurm log lines.

2755: Preserve blob signatures in manifest_text passed to collections.create.

Expanded search path for cgroup stats, changed command line interface a bit.
Also adjusted polling interval to every 10 seconds istead of every 1 second.
refs #2882

Bugfix in logging which cgroup stats files it uses.  refs #2882

Bugfix searching for cgroup stats files.  refs #2882

Crunchstat logs where it reads its stats from.  refs #2882

Runs crunch script using "stdbuf -o0 -e0" so stdout and stderr are unbuffered,
solves problem of stdout showing up out of order and with incorrect time stamps
in logs.  no issue #

2755: Fix unfinished comment.

2872: Fix selector in test case.

2872: Add "move to project" button, fix "copy to project" behavior
(really copy, instead of adding a link).

2872: Fix "remove" icon and pencil icon placement.

2872: Muster all the "move" and "add" buttons up to the right side of the tabs.

2872: Show projectless jobs/pipelines in "recent" list too.

Made a note about user how permissions are applied when attempting to create a
token for another user.  Test for this case already exists.  closes #2350.

2872: Fix tests broken in merge.

2934: add limits for crunch job log generation.

* crunch_limit_log_events_per_job
* crunch_limit_log_event_bytes_per_job

  Limit the number of events a job may log, and the total number of
  bytes a job may log.

* crunch_log_bytes_per_event
* crunch_log_seconds_between_events

  Set minimum logging thresholds: event logs will only be flushed to the
  database when at least crunch_log_bytes_per_event have been generated,
  or crunch_log_seconds_between_events have passed.

Integration test CrunchDispatchTest exercised creating a job.

Refs #2934.

Merge branch 'origin-2882-job-process-stats' refs #2882

2882: Search subdirectories of cgroup for stats, because compute0 has a
slightly different cgroup layout from what's on my workstation (wtf?).

2883: Removed commented out code related to live loading (saved it to another branch).

2872: Merge branch 'master' into 2872-folder-nav

Conflicts:
apps/workbench/app/assets/javascripts/pipeline_instances.js
apps/workbench/app/controllers/application_controller.rb
apps/workbench/app/controllers/collections_controller.rb
apps/workbench/app/controllers/jobs_controller.rb
apps/workbench/app/helpers/application_helper.rb
apps/workbench/app/models/job.rb
apps/workbench/app/views/application/_content.html.erb
apps/workbench/app/views/application/_show_metadata.html.erb
apps/workbench/app/views/pipeline_instances/_show_components.html.erb

2872: Fix bookmark bar causing spurious window width.

2883: Adjusted task type column width.  Commented out code for working with
live-updating logs, it almost works but there are some complications.

2755: Add api server config to enable mandatory Keep signatures.

2883: Adjust timestamp display based on timezone and locale.

2883: Live updating log wip

2883: Styling column widths so they don't jump around when filters are turned
on and off.

2883: Moved hardcoded styles out into a stylesheet.

2883: Log viewer works, supports sorting and filtering.

refs #2871
Merge branch '2871-preload-objects'

2871: fix the typo caught by integration test

closes #2871
Merge branch '2871-preload-objects'

2883: Initial work on fetching and parsing job log

Bugfix: the discovery doc should not clobber defaults values with the
word 'string'. Instead, make sure the default values are always exposed
as a string, which is something the java google apiclient is sensitive
to.

Refs no issue #

Added error-handler for x-editable that extracts Arvados API error field for
display, closes #2819

2871: add andand to prevent error

Merge branch 'master' into 2871-preload-objects

Merge branch '2961-load-tab-partials' closes #2961

arv-run-pipeline-instance should not keep trying to create jobs when the
API server returns an error on job creation.

This closes #3005

Merge branch '2826-simple-go-sdk' closes #2826

Fix inconsistent JSON error return behavior on job create.

refs #3004

Merge branch '2880-crunch-dispatch-node-constraints'

Closes #2880, #2976, #2993.

2880: Don't dispatch Jobs until runtime constraints are met.

This retains the same FIFO approach to the Job queue that
crunch-dispatch currently uses, but now when it encounters a Job whose
constraints are not met:

* it may wait for a while to see if the Node Manager makes Nodes
  available, if it hasn't done that this hour; and

* it leaves that Job in the queue and tries to process the next one.

See #2880 for further background.  The exact parameters of "waiting
for Nodes" will probably need tuning, but that will be easier to do
after it's been in production for a while.

2880: Improve error reporting when crunch-dispatch updates node status.

2880: crunch-dispatch must stop putting symbols in the database.

2961: Removed calls to wait_for_ajax, fixes user tests.

2961: user-setup-modal-window div is no longer in footer_html because it is
loaded using AJAX.

2961: Don't call #render_index from #index on folders_controller because #index
is also used by #choose and the index does not have any tabs.

2961: Do not include meta tag for websockets if there is no websockets in the
discovery document.

2961: Fixed name of collection on collection show page to fix test.

2961: Track valid/up to date state for each panel, only reload panels when they
are out of date (based on event log) and visible to user.

2961: Added use count so ajax loading icon is accurate when there are multiple
outstanding ajax requests.

2961: Removed dangling close div.

2961: Added missing user uuid to session.

Merge branch 'master' into 2961-load-tab-partials

Fix for running workbench against server that doesn't have 'Job.supplied_script_version' yet.  refs #2939

2961: Job index needs to call super sometimes, render_index other times.

2961: Changed index methods on some controllers to use render_index instead of
super, to skip the default index query logic but still apply the tab partial
logic.

Merge branch 'master' into 2871-preload-objects

2871: trailing whitespace

Specify server-side keep-alive ping interval for websockets.  no issue #

2961: Escaped erb used embedded in javascript.  Updated comments in
event_log.js.  Removed debug put from ApplicationController.

Merge branch 'master' into 2871-preload-objects

2871: test preload_objects_for_dataclass helper method

Add puma to the Gemfile for the API server; we use it for the websockets
server.

no issue #

2871: preload_log_collections tests

2871: more testing