Merge branch 'master' into 2659-anonymous-server-side

2659: split server side implementation into a separate branch to facilitate better testing.

Update required arvados gem to depend on version of arv-run-pipeline-instance
that supports runtime constraints.  no issue #

Merge branch 'pete-fixes' closes #3096

Fixed render_pipeline_component_attribute test if dataclass derives from ArvadosBase.

Merge branch 'pete-fixes' of git.curoverse.com:arvados into pete-fixes

Fixed get_n_objects_of_class datatype assertion for 'dataclass'

Remove import from __future__

Remove spurious 'puts'

:none dispatcher only runs one job at a time.

Merge remote-tracking branch 'origin/master' into pete-fixes

Fixed logging statements to format correctly.

"Combine selected" actually works again.

fuse test fixes

Use logging module instead of "if DEBUG:"

Remove spurious 'puts'

Fixed regex for extracting just hash and size part of locator

Add -> indirection to  $self->{'noVerifyHostname'}

Use /tmp/crunch-src for docker jobs and $ENV{CRUNCH_SRC} for non-docker.  Removed umask.

Refactored "save temp file rescue behavior into function

Refactored arv-normalize calls into function.

Reused variable 'n' for two different things.  Oops.

Improve arv edit failure handling.

Escape HTML entities in Workbench Job log viewer.

No issue #.

Don't print blkio stats if no reads or writes have occurred since the last poll.

Merge remote-tracking branch 'origin/master' into pete-fixes

Fix bad interaction between llfuse and daemonization in arv-mount.

Following PEP 3143, daemon.DaemonContext drops all open file
descriptors by default.  This causes arv-mount to fail, because
llfuse.init() opens /dev/fuse, and llfuse.main() uses that file
descriptor.  We now daemonize before doing real work to prevent this
unintentional breakage.

This effectively reverts 83c873af.  An alternative approach would've
been to call DaemonContext with a preserve_files argument.  I decided
against that because I couldn't find a reliable way to determine
which file descriptors llfuse needs.  If we really need the daemon to
report errors, and debugging with --foreground isn't sufficient, I
think we should implement proper logging to a file or syslog.

No issue #.

Make task working directory world writable, to deal with uid mapping problems
where the uid of the crunch-job user doesn't match uid the docker image user.
CRUNCH_SRC, TASK_WORK, TASK_KEEPMOUNT and are now always bound to
/tmp/crunch-src, /tmp/crunch-job, /mnt respectively when running inside a
docker image.

MagicDirectory.__contains__ now creates CollectionDirectory (which creates
CollectionReader()) and uses update() to determine if a collection exists;
handles cases where the collection only exists on API server. Also improved
arv-mount debug logging.  no issue #

Remove spurious print from fuse driver.  no issue #

Add support for ARVADOS_API_HOST_INSECURE environment variable.  Use Net::SSL
instead of IO::Socket::SSL because the latter seems to ignore
PERL_LWP_SSL_VERIFY_HOSTNAME.  no issue #

Now includes runtime_constraints from the component when creating a new job. no issue #

Only attempt to preload ArvadosBase objects in render_pipeline_component_attribute.  no issue #

Fix get_n_objects_of only accepts ArvadosBase classes, not any class.  no issue #

Fixed cancel_stale_jobs to authorize as system user before modifying jobs
table.  no issue #

Adds "--strip" option to arv-normalize to strip off authorization tokens.
Fixed "mismatched collection uuid" in the "create collection from parts of
other collections" feature of workbench.  no issue #

Fix off-by-one-month in timestamp conversion. refs #2883

Merge branch '2891-workbench-errors-retain-login'

Closes #3032, #3074.  Refs #2891.

2891: Rename and comment Workbench API token filters.

2891: Refactor Workbench API token filters.

Remove dead code and simplify the implementation, especially the
relationship between the "required" and "optional" filters, per
discussion with Peter.

2891: Workbench error page shows login status.

The tests here check that an error page shows the usual user
information for someone logged in, and renders okay for someone who
isn't.

2891: Workbench handles expired tokens more consistently.

Previously Workbench would behave differently depending on whether an
expired token was provided as a query parameter, or living in a
session.  This makes it do the same thing in all cases.  It also fixes
some small bugs around removing api_token from URL paths.

2891: Workbench integration tests cope when screenshots aren't supported.

Fix symlinks in sdk/cli/bin for arv-mount and arv-keepdocker.  no issue #

Suppress "Resource or subcommand '' is not recognized." message when running
arv with no parameters.  refs #2986

Remove spurious puts. refs #2884

Fix crash on unexpected case of a collection whose owner_uuid is not root.
closes #3047

Handle UrlGenerationError as an application exception rather than a
404, even though it subclasses RoutingError. refs #3047

Merge branch '2986-arv-edit' closes #2986

2986: Handles collection ids in 'arv edit' (tells the user collections are not
editable.)  Added error message when subcommand or resource is
unrecognized. Removed old reference to removed command line parameter
global_opts[:resources].

2986: Restored "arv pipeline run" subcommand.  Arv edit will now ask you if you
want to retry if there is parse error.  Fixed capitalization of Arvados.

2986: Report parsing errors and print out contents instead of just blowing up.

2986: Writes tempfile with appropriate extension so editor can apply proper editing mode.

2986: Can now specify which fields you want to edit, because fields like 'uuid'
and 'modified_at' are not updatable.

Fix pipeline instance creation workbench tests.  refs #2884

3031: Improve "Docker image not found" error message.

Rails automatically adds the column name to rendered error message, so
the old version was coming out as "Docker image locator Docker image
not found."  This version reads better.  Refs #3031.

Make Job runtime constraints documentation up-to-date.

Refs #2879, #2880.

Merge branch '2884-improved-picker' closes #2884

Merge remote-tracking branch 'origin/master' into 2884-improved-picker

2884: Added fail callback preview loading fails.  Added comments explaining a
couple of things.  Removed spurious puts.

2986: Implemented "arv edit" command.  Refactored 'arv' to be easier to follow.
Changed control flow of command line processing so that trollop gets a chance
to see command line before subcommands.  Improved help text for subcommands.

2986: Make arv-run-pipeline-instance be nicer to the user when run without
command line parameters.

Refactor show_file_links.html.erb to reduce duplication.

No issue #, just something I did while working on the previous commit.

2937: Make sure Collection share links end with /.

This is necessary to prevent wget from saving a plain HTML file with
the name of the reader token.  With a file there, it's not possible to
make a directory tree for recursive downloads.

Closes #2937.

Merge branch '2879-docker-image-job-reuse'

Closes #2879, #2924, #3030.

2879: Docker filters on Jobs accept an array of search terms.

2879: Job Docker filters respect reader tokens.

2879: Document new Job API filters.

2879: Support tag search in "in docker" Job filters.

The search uses the same `reponame:tagname` format used by
`docker tag`.

2879: Use Job-specific filters in #index too.

This brings #index consistency with the #create method, and enables
clients to do the same kind of sophisticated searching.

2879: API server can find_or_create Jobs based on Docker image.

2879: API server can find_or_create Jobs based on filters.

This will make it easier to support new criteria for find_or_create.
In particular, this will be the basis for searching based on Docker
image.

2986: Cleaned up arv cli help to be more helpful and consistent.  refs #1667.

Merge branch 'origin-2883-job-log-viewer' closes #2883 refs #3027

2883: Fixed select all/select none messing with the "show task" radio buttons.

2883: Changed "task-output" category to "task-print" and "output" to
"diagnostic" in the UI text based on AWZ feedback.

2883: Fixed variable being used before it was declared, and fixed assignment of
ids to rows.

Merge branch '2883-job-log-viewer' of git.curoverse.com:arvados into origin-2883-job-log-viewer

Conflicts:
apps/workbench/app/views/jobs/_show_log.html.erb

Add error handling when log collection is not found. refs #3027.

2883: Use smart scrolling so keep the sorting and filtering selections on the
page when scrolling the output.

Merge branch 'master' into origin-2883-job-log-viewer

Fixed smart scrolling as intended for svg divs.  refs #2919

2884: Adjusted column size on components page to work better when used in
chooser preview pane.  Removed spurious console.log statement.

2884: Added spinner to indicate infinite scroll is loading.

2884: Fixed horizontal scroll in folder selection dialog

2884: Selecting folders works for run pipeline dialog.  Increased page size
from 20 items to 40 items.

closes #2896
Merge branch '2896-websocket-cli'

Merge branch 'master' into 2896-websocket-cli

2884: Can now choose a specific folder to browse in the file selector modal.

crunch-job passes ARVADOS envvars to Docker.

No issue #.

Merge branch '2936-job-progress-bar'

Closes #2936.

2936: fix job progress bars

Add edge case settings for when a crunch job could not be started, or
when no tasks were ever created.

Calculate percent_total_tasks as a float, to ensure that it will be
nonzero even if there are more than 100 tasks altogether. Calculate
percentages of individual task progress with .ceil to ensure that there
will be at least 1% shown for each nonzero task status.

Refs #2936

Merge branch 'master' into 2896-websocket-cli

2896: add logging to events.py

Merge branch '2934-limit-crunch-logs-bugfix'

Refs #2934.

2934: add crunch-dispatch default settings

Add default values to application.default.yml for:
* crunch_limit_log_events_per_job
* crunch_limit_log_event_bytes_per_job
* crunch_log_bytes_per_event
* crunch_log_seconds_between_events

Refs #2934.

Merge branch 'master' into 2896-websocket-cli

2896: incorporate review comments: add logging, enhance creating filter object.

2884: AJAX load a preview panel in collection and pipeline template picker.

Fixed bug in Keep proxy when talking to Keep server that doesn't report
Content-Length correctly.  no issue #