2879: Finish the Docker image sorting work of 71c66323.

2879: Docker filters on Jobs accept an array of search terms.

2879: Improve sorting in Collection.uuids_for_docker_image.

This code is simpler, handles more error cases correctly, and returns
the most recent image at the head of the list as expected.

2879: API Docker link fixtures use string image_timestamps.

This is closer to what we'll have in the real world.

Merge branch 'master' into 2879-docker-image-job-reuse-wip

Fixed smart scrolling as intended for svg divs.  refs #2919

closes #2896
Merge branch '2896-websocket-cli'

Merge branch 'master' into 2896-websocket-cli

2879: Job Docker filters respect reader tokens.

crunch-job passes ARVADOS envvars to Docker.

No issue #.

Merge branch '2936-job-progress-bar'

Closes #2936.

2936: fix job progress bars

Add edge case settings for when a crunch job could not be started, or
when no tasks were ever created.

Calculate percent_total_tasks as a float, to ensure that it will be
nonzero even if there are more than 100 tasks altogether. Calculate
percentages of individual task progress with .ceil to ensure that there
will be at least 1% shown for each nonzero task status.

Refs #2936

Merge branch 'master' into 2896-websocket-cli

2896: add logging to events.py

2879: Document new Job API filters.

2879: Support tag search in "in docker" Job filters.

The search uses the same `reponame:tagname` format used by
`docker tag`.

Merge branch '2934-limit-crunch-logs-bugfix'

Refs #2934.

2934: add crunch-dispatch default settings

Add default values to application.default.yml for:
* crunch_limit_log_events_per_job
* crunch_limit_log_event_bytes_per_job
* crunch_log_bytes_per_event
* crunch_log_seconds_between_events

Refs #2934.

2879: Use Job-specific filters in #index too.

This brings #index consistency with the #create method, and enables
clients to do the same kind of sophisticated searching.

Merge branch 'master' into 2896-websocket-cli

2896: incorporate review comments: add logging, enhance creating filter object.

2879: Don't implicitly build Job find_or_create filters.

If a client is using filters, they're new enough to know that they
need to be explicit about exactly what they want to filter.  This will
hopefully make client development easier to debug.  Per discussion
with Tom Clegg.

Fixed bug in Keep proxy when talking to Keep server that doesn't report
Content-Length correctly.  no issue #

2879: Rename Job-specific filter operators.

Based on discussion with Tom Clegg.

2936: improve progress bar for failed jobs

Ensure that:

* All job progress bars reflect at least one task.  If a job has no
  tasks at all (done, failed, finished, or todo) that should be
  considered a failed job, so render a progress bar as though one task
  ran and failed.

* A failed job (j[:success] == false) always shows at least one failed
  task.  If a job is marked as failed but has no failed tasks, then
  pretend there was one failed task so at least some red will appear in
  the progress bar.

Fixes #2936.

Ajax load of tab panels now includes any query parameters the page was
originally loaded with.  Also fixed related problem where the 'compare' route
of pipeline_instances controller wasn't aware of tab partials.  closes #3013

2879: API server can find_or_create Jobs based on Docker image.

2879: API server can find_or_create Jobs based on filters.

This will make it easier to support new criteria for find_or_create.
In particular, this will be the basis for searching based on Docker
image.

2896: Add test file. Currently, the test only checks that arv-ws command is available and the options.

Merge branch '2879-job-api-docker-images'

Closes #2923, #3010.

Merge branch 'master' into 2896-websocket-cli

2879: crunch-job uses Job Docker information provided by API server.

2879: API server maps Job Docker image constraints to Collections.

Doing this translation in the API server helps ensure that one piece
of software makes one consistent decision about which Docker image
should be used to run the Job.

2879: Let ArvadosModel.readable_by callers specify table name.

This makes it possible to use readable_by in queries with arbitrary
joins.

2879: Fix SLURM node separator when installing Docker images.

2879: Store Docker image repo+tag together in one tag.

It doesn't make sense to query the tag independently of the
repository, and this change will make the common case of querying both
together easier.

2896: add arv-ws cli tool to arv.

Merge branch '2934-limit-crunch-logs'

Closes #2934

2934: document stderr messages for commit tests

Some unit tests for the Commit models issue alarming but expected git
error messages on stderr.  Added comments documenting these in
commits_controller_test.rb.

Refs #2934.

2934: add crunch_dispatch_test repository

Move files for crunch_dispatch_test to their own test fixture
repository.

Refs #2934.

Merge branch 'master' into 2934-limit-crunch-logs

Refs #2934

Fix infinite scroll in chooser. refs #2872

2934: add "bar" repository to test fixture

Add the "bar" repository to test/fixtures/repositories.yml so
CrunchDispatchTest may create a job using a commit from that
repository. (Change lost in a bad rebase.)

Refs #2934

2934: count events and bytes in-memory

To avoid thrashing the database, crunch-dispatch.rb counts log events
and bytes in RAM instead of reading the database each time.

Refs #2934.

Fix fuse driver tests broken by changes to test fixtures.  no issue #

2872: Merge branch '2872-folder-nav' closes #2872

2872: Add data binding for project names in dropdown.

2934: add launch_crunch_dispatch to integration test

Added functionality for launching crunch-dispatch in
crunch_dispatch_test.rb while integration tests are running.

Refs #2934.

Merge branch '2934-limit-crunch-logs' of git.curoverse.com:arvados into 2934-limit-crunch-logs

Fixing broken rebase

2872: Merge branch 'master' into 2872-folder-nav

Conflicts:
apps/workbench/app/controllers/jobs_controller.rb

Merge branch 'origin-2883-job-log-viewer' closes #2883

2753: Fix param name (filter -> filters).

2883: Moved addToLogViewer function out of the template and into assets and
reformatted it properly.

2872: Redirect to parent project after deleting a subproject.

2872: Fix provenance graph double-smart-scroll.

2961: Fix crash on pipeline_instances/compare.

2872: Fix test, to match fixed fixture.

2872: Move project_tree code into helper_methods, fix up tests.

2872: Fix bugs, tweak formatting

Merge branch '2879-docker-image-installer'

Refs #2879.  Closes #2998, #3006.

2879: arv-keepdocker reports a better error for ambiguous hashes.

Refs #2879.

2879: Clarify Docker image search behavior in Keep installer.

2879: Docker Keep installer returns 0 if image already installed.

2879: Add arv-keepdocker command.

This puts a Docker image in Keep, and makes Arvados links to help find
the Collection by the image's names.

2879: arv-put main() returns what it prints.

This will enable other tools to reuse the results.

2879: Move Python is_hex function to arvados.util.

2879: Split arv-put's ArgumentParser into module segments.

This will let us use different pieces as a parent parser for other
tools, which I plan to do for the Docker image uploader.

2879: Factor out arv-put's cache creation to a utility library.

This function will be useful for the Docker image uploader, and
probably other tools as well.

2755: Merge branch '2755-require-keep-permission' refs #2755

2755: Fix handling of stripped/orig manifest text.

2883: Added filtering for crunchstat, slurm log lines.

2755: Preserve blob signatures in manifest_text passed to collections.create.

Expanded search path for cgroup stats, changed command line interface a bit.
Also adjusted polling interval to every 10 seconds istead of every 1 second.
refs #2882

Bugfix in logging which cgroup stats files it uses.  refs #2882

Bugfix searching for cgroup stats files.  refs #2882

Crunchstat logs where it reads its stats from.  refs #2882

Runs crunch script using "stdbuf -o0 -e0" so stdout and stderr are unbuffered,
solves problem of stdout showing up out of order and with incorrect time stamps
in logs.  no issue #

2755: Fix unfinished comment.

2872: Fix selector in test case.

2872: Add "move to project" button, fix "copy to project" behavior
(really copy, instead of adding a link).

2872: Fix "remove" icon and pencil icon placement.

2872: Muster all the "move" and "add" buttons up to the right side of the tabs.

2872: Show projectless jobs/pipelines in "recent" list too.

Made a note about user how permissions are applied when attempting to create a
token for another user.  Test for this case already exists.  closes #2350.

2872: Fix tests broken in merge.

2934: add limits for crunch job log generation.

* crunch_limit_log_events_per_job
* crunch_limit_log_event_bytes_per_job

  Limit the number of events a job may log, and the total number of
  bytes a job may log.

* crunch_log_bytes_per_event
* crunch_log_seconds_between_events

  Set minimum logging thresholds: event logs will only be flushed to the
  database when at least crunch_log_bytes_per_event have been generated,
  or crunch_log_seconds_between_events have passed.

Integration test CrunchDispatchTest exercised creating a job.

Refs #2934.

Merge branch 'origin-2882-job-process-stats' refs #2882

2882: Search subdirectories of cgroup for stats, because compute0 has a
slightly different cgroup layout from what's on my workstation (wtf?).

2883: Removed commented out code related to live loading (saved it to another branch).

2872: Merge branch 'master' into 2872-folder-nav

Conflicts:
apps/workbench/app/assets/javascripts/pipeline_instances.js
apps/workbench/app/controllers/application_controller.rb
apps/workbench/app/controllers/collections_controller.rb
apps/workbench/app/controllers/jobs_controller.rb
apps/workbench/app/helpers/application_helper.rb
apps/workbench/app/models/job.rb
apps/workbench/app/views/application/_content.html.erb
apps/workbench/app/views/application/_show_metadata.html.erb
apps/workbench/app/views/pipeline_instances/_show_components.html.erb

2872: Fix bookmark bar causing spurious window width.

2883: Adjusted task type column width.  Commented out code for working with
live-updating logs, it almost works but there are some complications.

2755: Add api server config to enable mandatory Keep signatures.

2883: Adjust timestamp display based on timezone and locale.

2883: Live updating log wip

2883: Styling column widths so they don't jump around when filters are turned
on and off.

2883: Moved hardcoded styles out into a stylesheet.

2883: Log viewer works, supports sorting and filtering.

refs #2871
Merge branch '2871-preload-objects'

2871: fix the typo caught by integration test