Don't print blkio stats if no reads or writes have occurred since the last poll.

Merge remote-tracking branch 'origin/master' into pete-fixes

Fix bad interaction between llfuse and daemonization in arv-mount.

Following PEP 3143, daemon.DaemonContext drops all open file
descriptors by default.  This causes arv-mount to fail, because
llfuse.init() opens /dev/fuse, and llfuse.main() uses that file
descriptor.  We now daemonize before doing real work to prevent this
unintentional breakage.

This effectively reverts 83c873af.  An alternative approach would've
been to call DaemonContext with a preserve_files argument.  I decided
against that because I couldn't find a reliable way to determine
which file descriptors llfuse needs.  If we really need the daemon to
report errors, and debugging with --foreground isn't sufficient, I
think we should implement proper logging to a file or syslog.

No issue #.

Make task working directory world writable, to deal with uid mapping problems
where the uid of the crunch-job user doesn't match uid the docker image user.
CRUNCH_SRC, TASK_WORK, TASK_KEEPMOUNT and are now always bound to
/tmp/crunch-src, /tmp/crunch-job, /mnt respectively when running inside a
docker image.

MagicDirectory.__contains__ now creates CollectionDirectory (which creates
CollectionReader()) and uses update() to determine if a collection exists;
handles cases where the collection only exists on API server. Also improved
arv-mount debug logging.  no issue #

Remove spurious print from fuse driver.  no issue #

Add support for ARVADOS_API_HOST_INSECURE environment variable.  Use Net::SSL
instead of IO::Socket::SSL because the latter seems to ignore
PERL_LWP_SSL_VERIFY_HOSTNAME.  no issue #

Now includes runtime_constraints from the component when creating a new job. no issue #

Only attempt to preload ArvadosBase objects in render_pipeline_component_attribute.  no issue #

Fix get_n_objects_of only accepts ArvadosBase classes, not any class.  no issue #

Fixed cancel_stale_jobs to authorize as system user before modifying jobs
table.  no issue #

Adds "--strip" option to arv-normalize to strip off authorization tokens.
Fixed "mismatched collection uuid" in the "create collection from parts of
other collections" feature of workbench.  no issue #

Fix off-by-one-month in timestamp conversion. refs #2883

Merge branch '2891-workbench-errors-retain-login'

Closes #3032, #3074.  Refs #2891.

2891: Rename and comment Workbench API token filters.

2891: Refactor Workbench API token filters.

Remove dead code and simplify the implementation, especially the
relationship between the "required" and "optional" filters, per
discussion with Peter.

2891: Workbench error page shows login status.

The tests here check that an error page shows the usual user
information for someone logged in, and renders okay for someone who
isn't.

2891: Workbench handles expired tokens more consistently.

Previously Workbench would behave differently depending on whether an
expired token was provided as a query parameter, or living in a
session.  This makes it do the same thing in all cases.  It also fixes
some small bugs around removing api_token from URL paths.

2891: Workbench integration tests cope when screenshots aren't supported.

Fix symlinks in sdk/cli/bin for arv-mount and arv-keepdocker.  no issue #

Suppress "Resource or subcommand '' is not recognized." message when running
arv with no parameters.  refs #2986

Remove spurious puts. refs #2884

Fix crash on unexpected case of a collection whose owner_uuid is not root.
closes #3047

Handle UrlGenerationError as an application exception rather than a
404, even though it subclasses RoutingError. refs #3047

Merge branch '2986-arv-edit' closes #2986

2986: Handles collection ids in 'arv edit' (tells the user collections are not
editable.)  Added error message when subcommand or resource is
unrecognized. Removed old reference to removed command line parameter
global_opts[:resources].

2986: Restored "arv pipeline run" subcommand.  Arv edit will now ask you if you
want to retry if there is parse error.  Fixed capitalization of Arvados.

2986: Report parsing errors and print out contents instead of just blowing up.

2986: Writes tempfile with appropriate extension so editor can apply proper editing mode.

2986: Can now specify which fields you want to edit, because fields like 'uuid'
and 'modified_at' are not updatable.

Fix pipeline instance creation workbench tests.  refs #2884

3031: Improve "Docker image not found" error message.

Rails automatically adds the column name to rendered error message, so
the old version was coming out as "Docker image locator Docker image
not found."  This version reads better.  Refs #3031.

Make Job runtime constraints documentation up-to-date.

Refs #2879, #2880.

Merge branch '2884-improved-picker' closes #2884

Merge remote-tracking branch 'origin/master' into 2884-improved-picker

2884: Added fail callback preview loading fails.  Added comments explaining a
couple of things.  Removed spurious puts.

2986: Implemented "arv edit" command.  Refactored 'arv' to be easier to follow.
Changed control flow of command line processing so that trollop gets a chance
to see command line before subcommands.  Improved help text for subcommands.

2986: Make arv-run-pipeline-instance be nicer to the user when run without
command line parameters.

Refactor show_file_links.html.erb to reduce duplication.

No issue #, just something I did while working on the previous commit.

2937: Make sure Collection share links end with /.

This is necessary to prevent wget from saving a plain HTML file with
the name of the reader token.  With a file there, it's not possible to
make a directory tree for recursive downloads.

Closes #2937.

Merge branch '2879-docker-image-job-reuse'

Closes #2879, #2924, #3030.

2879: Docker filters on Jobs accept an array of search terms.

2879: Job Docker filters respect reader tokens.

2879: Document new Job API filters.

2879: Support tag search in "in docker" Job filters.

The search uses the same `reponame:tagname` format used by
`docker tag`.

2879: Use Job-specific filters in #index too.

This brings #index consistency with the #create method, and enables
clients to do the same kind of sophisticated searching.

2879: API server can find_or_create Jobs based on Docker image.

2879: API server can find_or_create Jobs based on filters.

This will make it easier to support new criteria for find_or_create.
In particular, this will be the basis for searching based on Docker
image.

2986: Cleaned up arv cli help to be more helpful and consistent.  refs #1667.

Merge branch 'origin-2883-job-log-viewer' closes #2883 refs #3027

2883: Fixed select all/select none messing with the "show task" radio buttons.

2883: Changed "task-output" category to "task-print" and "output" to
"diagnostic" in the UI text based on AWZ feedback.

2883: Fixed variable being used before it was declared, and fixed assignment of
ids to rows.

Merge branch '2883-job-log-viewer' of git.curoverse.com:arvados into origin-2883-job-log-viewer

Conflicts:
apps/workbench/app/views/jobs/_show_log.html.erb

Add error handling when log collection is not found. refs #3027.

2883: Use smart scrolling so keep the sorting and filtering selections on the
page when scrolling the output.

Merge branch 'master' into origin-2883-job-log-viewer

Fixed smart scrolling as intended for svg divs.  refs #2919

2884: Adjusted column size on components page to work better when used in
chooser preview pane.  Removed spurious console.log statement.

2884: Added spinner to indicate infinite scroll is loading.

2884: Fixed horizontal scroll in folder selection dialog

2884: Selecting folders works for run pipeline dialog.  Increased page size
from 20 items to 40 items.

closes #2896
Merge branch '2896-websocket-cli'

Merge branch 'master' into 2896-websocket-cli

2884: Can now choose a specific folder to browse in the file selector modal.

crunch-job passes ARVADOS envvars to Docker.

No issue #.

Merge branch '2936-job-progress-bar'

Closes #2936.

2936: fix job progress bars

Add edge case settings for when a crunch job could not be started, or
when no tasks were ever created.

Calculate percent_total_tasks as a float, to ensure that it will be
nonzero even if there are more than 100 tasks altogether. Calculate
percentages of individual task progress with .ceil to ensure that there
will be at least 1% shown for each nonzero task status.

Refs #2936

Merge branch 'master' into 2896-websocket-cli

2896: add logging to events.py

Merge branch '2934-limit-crunch-logs-bugfix'

Refs #2934.

2934: add crunch-dispatch default settings

Add default values to application.default.yml for:
* crunch_limit_log_events_per_job
* crunch_limit_log_event_bytes_per_job
* crunch_log_bytes_per_event
* crunch_log_seconds_between_events

Refs #2934.

Merge branch 'master' into 2896-websocket-cli

2896: incorporate review comments: add logging, enhance creating filter object.

2884: AJAX load a preview panel in collection and pipeline template picker.

Fixed bug in Keep proxy when talking to Keep server that doesn't report
Content-Length correctly.  no issue #

2936: improve progress bar for failed jobs

Ensure that:

* All job progress bars reflect at least one task.  If a job has no
  tasks at all (done, failed, finished, or todo) that should be
  considered a failed job, so render a progress bar as though one task
  ran and failed.

* A failed job (j[:success] == false) always shows at least one failed
  task.  If a job is marked as failed but has no failed tasks, then
  pretend there was one failed task so at least some red will appear in
  the progress bar.

Fixes #2936.

Ajax load of tab panels now includes any query parameters the page was
originally loaded with.  Also fixed related problem where the 'compare' route
of pipeline_instances controller wasn't aware of tab partials.  closes #3013

2883: Improved pagination control a bit, added search.

2883: Added pagination for large logs.

2883: Added big red "show failed tasks" button.

2883: Distinguish between complete/incomplete and success/failure.

2896: Add test file. Currently, the test only checks that arv-ws command is available and the options.

2883: Added node slots as its own column.

Merge branch '2879-job-api-docker-images'

Closes #2923, #3010.

Merge branch 'master' into 2896-websocket-cli

2879: crunch-job uses Job Docker information provided by API server.

2879: API server maps Job Docker image constraints to Collections.

Doing this translation in the API server helps ensure that one piece
of software makes one consistent decision about which Docker image
should be used to run the Job.

2879: Let ArvadosModel.readable_by callers specify table name.

This makes it possible to use readable_by in queries with arbitrary
joins.

2879: Fix SLURM node separator when installing Docker images.

2879: Store Docker image repo+tag together in one tag.

It doesn't make sense to query the tag independently of the
repository, and this change will make the common case of querying both
together easier.

2896: add arv-ws cli tool to arv.

2883: Added overview, node column and sort by node, style tweaks.

Merge branch '2934-limit-crunch-logs'

Closes #2934

2934: document stderr messages for commit tests

Some unit tests for the Commit models issue alarming but expected git
error messages on stderr.  Added comments documenting these in
commits_controller_test.rb.

Refs #2934.

2883: Fix pattern for discovering success/failure of tasks.

2883: Fixes secondary key sort bug.  Adds filtering on successful/failed tasks.

2934: add crunch_dispatch_test repository

Move files for crunch_dispatch_test to their own test fixture
repository.

Refs #2934.

Merge remote-tracking branch 'origin/origin-2883-job-log-viewer' into 2883-job-log-viewer

some refactoring and added detection of task success or failure