2879: API server only searches Docker images via readable links.

2879: API server only searches Docker image hashes when name search fails.

Merge branch 'master' into 2879-job-api-docker-images-wip

2879: Improve SQL for Docker image Collection search.

* Search on Links joined with Collections, to simplify later logic.

* Limit the search to Collections readable by specified users (by
  default, the current user).

2879: Let ArvadosModel.readable_by callers specify table name.

This makes it possible to use readable_by in queries with arbitrary
joins.

2879: Generalize Job docker_image_locator protection tests.

Refs #2879 - the test for MassAssignmentError is not passing for
Peter.  I want to try this approach to see if a more general test is
all we need.

2879: Revert previous commit.

This was an effort to better match Docker's behavior.  But it turns
out `docker run` always looks for an image tagged 'latest' if you
don't specify, so the previous behavior is actually closer.

Fix infinite scroll in chooser. refs #2872

2879: API Docker image search separates searches with or without a tag.

2879: Refactor Job Docker image locating.

Having this as a Collections class method will let us use this in the
Job reuse logic.  I'm hoping the implementation changes to search help
improve readability too.

2879: API server Jobs use new Docker image+tag link structure.

2879: Store Docker image repo+tag together in one tag.

It doesn't make sense to query the tag independently of the
repository, and this change will make the common case of querying both
together easier.

Fix fuse driver tests broken by changes to test fixtures.  no issue #

2872: Merge branch '2872-folder-nav' closes #2872

2872: Add data binding for project names in dropdown.

2872: Merge branch 'master' into 2872-folder-nav

Conflicts:
apps/workbench/app/controllers/jobs_controller.rb

Merge branch 'origin-2883-job-log-viewer' closes #2883

2753: Fix param name (filter -> filters).

2883: Moved addToLogViewer function out of the template and into assets and
reformatted it properly.

2872: Redirect to parent project after deleting a subproject.

2872: Fix provenance graph double-smart-scroll.

2961: Fix crash on pipeline_instances/compare.

2872: Fix test, to match fixed fixture.

2872: Move project_tree code into helper_methods, fix up tests.

2872: Fix bugs, tweak formatting

2879: crunch-job uses Job Docker information provided by API server.

2879: Fix SLURM node separator when installing Docker images.

2879: API server maps Job Docker image constraints to Collections.

Doing this translation in the API server helps ensure that one piece
of software makes one consistent decision about which Docker image
should be used to run the Job.

Merge branch '2879-docker-image-installer'

Refs #2879.  Closes #2998, #3006.

2879: arv-keepdocker reports a better error for ambiguous hashes.

Refs #2879.

2879: Clarify Docker image search behavior in Keep installer.

2879: Docker Keep installer returns 0 if image already installed.

2879: Add arv-keepdocker command.

This puts a Docker image in Keep, and makes Arvados links to help find
the Collection by the image's names.

2879: arv-put main() returns what it prints.

This will enable other tools to reuse the results.

2879: Move Python is_hex function to arvados.util.

2879: Split arv-put's ArgumentParser into module segments.

This will let us use different pieces as a parent parser for other
tools, which I plan to do for the Docker image uploader.

2879: Factor out arv-put's cache creation to a utility library.

This function will be useful for the Docker image uploader, and
probably other tools as well.

2755: Merge branch '2755-require-keep-permission' refs #2755

2755: Fix handling of stripped/orig manifest text.

2883: Added filtering for crunchstat, slurm log lines.

2755: Preserve blob signatures in manifest_text passed to collections.create.

Expanded search path for cgroup stats, changed command line interface a bit.
Also adjusted polling interval to every 10 seconds istead of every 1 second.
refs #2882

Bugfix in logging which cgroup stats files it uses.  refs #2882

Bugfix searching for cgroup stats files.  refs #2882

Crunchstat logs where it reads its stats from.  refs #2882

Runs crunch script using "stdbuf -o0 -e0" so stdout and stderr are unbuffered,
solves problem of stdout showing up out of order and with incorrect time stamps
in logs.  no issue #

2755: Fix unfinished comment.

2872: Fix selector in test case.

2872: Add "move to project" button, fix "copy to project" behavior
(really copy, instead of adding a link).

2872: Fix "remove" icon and pencil icon placement.

2872: Muster all the "move" and "add" buttons up to the right side of the tabs.

2872: Show projectless jobs/pipelines in "recent" list too.

Made a note about user how permissions are applied when attempting to create a
token for another user.  Test for this case already exists.  closes #2350.

2872: Fix tests broken in merge.

Merge branch 'origin-2882-job-process-stats' refs #2882

2882: Search subdirectories of cgroup for stats, because compute0 has a
slightly different cgroup layout from what's on my workstation (wtf?).

2883: Removed commented out code related to live loading (saved it to another branch).

2872: Merge branch 'master' into 2872-folder-nav

Conflicts:
apps/workbench/app/assets/javascripts/pipeline_instances.js
apps/workbench/app/controllers/application_controller.rb
apps/workbench/app/controllers/collections_controller.rb
apps/workbench/app/controllers/jobs_controller.rb
apps/workbench/app/helpers/application_helper.rb
apps/workbench/app/models/job.rb
apps/workbench/app/views/application/_content.html.erb
apps/workbench/app/views/application/_show_metadata.html.erb
apps/workbench/app/views/pipeline_instances/_show_components.html.erb

2872: Fix bookmark bar causing spurious window width.

2883: Adjusted task type column width.  Commented out code for working with
live-updating logs, it almost works but there are some complications.

2755: Add api server config to enable mandatory Keep signatures.

2883: Adjust timestamp display based on timezone and locale.

2883: Live updating log wip

2883: Styling column widths so they don't jump around when filters are turned
on and off.

2883: Moved hardcoded styles out into a stylesheet.

2883: Log viewer works, supports sorting and filtering.

refs #2871
Merge branch '2871-preload-objects'

2871: fix the typo caught by integration test

closes #2871
Merge branch '2871-preload-objects'

2883: Initial work on fetching and parsing job log

Bugfix: the discovery doc should not clobber defaults values with the
word 'string'. Instead, make sure the default values are always exposed
as a string, which is something the java google apiclient is sensitive
to.

Refs no issue #

Added error-handler for x-editable that extracts Arvados API error field for
display, closes #2819

2871: add andand to prevent error

Merge branch 'master' into 2871-preload-objects

Merge branch '2961-load-tab-partials' closes #2961

arv-run-pipeline-instance should not keep trying to create jobs when the
API server returns an error on job creation.

This closes #3005

Merge branch '2826-simple-go-sdk' closes #2826

Fix inconsistent JSON error return behavior on job create.

refs #3004

Merge branch '2880-crunch-dispatch-node-constraints'

Closes #2880, #2976, #2993.

2880: Don't dispatch Jobs until runtime constraints are met.

This retains the same FIFO approach to the Job queue that
crunch-dispatch currently uses, but now when it encounters a Job whose
constraints are not met:

* it may wait for a while to see if the Node Manager makes Nodes
  available, if it hasn't done that this hour; and

* it leaves that Job in the queue and tries to process the next one.

See #2880 for further background.  The exact parameters of "waiting
for Nodes" will probably need tuning, but that will be easier to do
after it's been in production for a while.

2880: Improve error reporting when crunch-dispatch updates node status.

2880: crunch-dispatch must stop putting symbols in the database.

2961: Removed calls to wait_for_ajax, fixes user tests.

2961: user-setup-modal-window div is no longer in footer_html because it is
loaded using AJAX.

2961: Don't call #render_index from #index on folders_controller because #index
is also used by #choose and the index does not have any tabs.

2961: Do not include meta tag for websockets if there is no websockets in the
discovery document.

2961: Fixed name of collection on collection show page to fix test.

2961: Track valid/up to date state for each panel, only reload panels when they
are out of date (based on event log) and visible to user.

2961: Added use count so ajax loading icon is accurate when there are multiple
outstanding ajax requests.

2961: Removed dangling close div.

2961: Added missing user uuid to session.

Merge branch 'master' into 2961-load-tab-partials

Fix for running workbench against server that doesn't have 'Job.supplied_script_version' yet.  refs #2939

2961: Job index needs to call super sometimes, render_index other times.

2961: Changed index methods on some controllers to use render_index instead of
super, to skip the default index query logic but still apply the tab partial
logic.

Merge branch 'master' into 2871-preload-objects

2871: trailing whitespace

Specify server-side keep-alive ping interval for websockets.  no issue #

2961: Escaped erb used embedded in javascript.  Updated comments in
event_log.js.  Removed debug put from ApplicationController.

Merge branch 'master' into 2871-preload-objects