2891: Workbench renders login exceptions earlier.

These changes are designed to ensure that if there are any problems
getting information from the current API token (other than expected
401 Unauthorized responses), those problems are raised early and
propagated up to the exception handler.  This helps better ensure that
thread state is consistent when we get to later stages of request
processing.

2891: Workbench current_user copes when API server is unreachable.

2891: Workbench converts API HTTP errors to API exceptions.

2891: Guard against API server errors in Workbench layout.

The goal here is to generally avoid situations like #3031 where
trouble talking to the API server prevents us from even rendering an
error page.  Previous commits made us smarter about logged in status.
This guards against other API errors.

Clean redundant conditional from Workbench layout.

2891: Workbench displays more info about API errors.

2891: Add Workbench test for expired API token.

2891: Add index link to Workbench 404 responses.

2891: Workbench returns 404 when API object doesn't exist.

2891: Workbench API client raises structured exceptions.

These changes will make it easier for the rest of the Workbench code
to cope with these errors more gracefully—even if that just means
friendlier reporting of the error.

2891: API server assigns error tokens.

These unique tokens are both logged and sent along with the response,
making it easier to cross-reference what the client does with what
happens on the API server.

2891: API server ApplicationController style updates.

This ports over some of the niceties we've recently implemented in the
Workbench ApplicationController.

2891: Fix bug in Workbench error page test.

closes #3076
Merge branch '3076-topnav-help'

Merge branch 'master' into 3076-topnav-help

closes #3088
Merge branch '3088-project-chooser-on-run-pipeline-template'

3088: address review feedback -- change the icon positioning on the Run button.

Merge branch 'master' into 3088-project-chooser-on-run-pipeline-template

refs #2659
Merge branch '2659-anonymous-server-side'

Merge branch 'master' into 3088-project-chooser-on-run-pipeline-template

Merge branch 'master' into 2659-anonymous-server-side

2659: look for scopes and expires_at when getting anonymous token. also, update create anonymous user to check for group link even when the user exists.

Add 'run-command' generic crunch command wrapper.  refs #2342

2659: remove the share_the_aproject_with_all_groups fixture in links.

Merge branch 'master' into 2659-anonymous-server-side

Fix tests broken by adding zero-length block manifests containing a zero length
file.  refs #3084

Handle empty directories in arv-put.  refs #3087

Handle zero-length streams that contain zero-length files.  refs #3084

Merge branch 'master' into 3076-topnav-help

Merge branch 'master' into 3088-project-chooser-on-run-pipeline-template

Merge branch 'master' into 2659-anonymous-server-side

2659: split server side implementation into a separate branch to facilitate better testing.

Update required arvados gem to depend on version of arv-run-pipeline-instance
that supports runtime constraints.  no issue #

Merge branch 'pete-fixes' closes #3096

Fixed render_pipeline_component_attribute test if dataclass derives from ArvadosBase.

Merge branch 'pete-fixes' of git.curoverse.com:arvados into pete-fixes

Fixed get_n_objects_of_class datatype assertion for 'dataclass'

3088: so sweet to have a test AND one that fails when code is updated.

3088: the other right

3088: show project chooser for run this pipeline on a template

Remove import from __future__

Remove spurious 'puts'

3088: set the owner uuid on the newly created pipeline instance to the selected project.

:none dispatcher only runs one job at a time.

3088: Run this pipeline on a template shows project chooser

Merge remote-tracking branch 'origin/master' into pete-fixes

Fixed logging statements to format correctly.

"Combine selected" actually works again.

fuse test fixes

Use logging module instead of "if DEBUG:"

Remove spurious 'puts'

Fixed regex for extracting just hash and size part of locator

Add -> indirection to  $self->{'noVerifyHostname'}

Use /tmp/crunch-src for docker jobs and $ENV{CRUNCH_SRC} for non-docker.  Removed umask.

Refactored "save temp file rescue behavior into function

Refactored arv-normalize calls into function.

Reused variable 'n' for two different things.  Oops.

Improve arv edit failure handling.

Merge branch 'master' into 3088-project-chooser-on-run-pipeline-template

Escape HTML entities in Workbench Job log viewer.

No issue #.

Don't print blkio stats if no reads or writes have occurred since the last poll.

3088: Show created at timestamp instead of Age

Merge remote-tracking branch 'origin/master' into pete-fixes

Fix bad interaction between llfuse and daemonization in arv-mount.

Following PEP 3143, daemon.DaemonContext drops all open file
descriptors by default.  This causes arv-mount to fail, because
llfuse.init() opens /dev/fuse, and llfuse.main() uses that file
descriptor.  We now daemonize before doing real work to prevent this
unintentional breakage.

This effectively reverts 83c873af.  An alternative approach would've
been to call DaemonContext with a preserve_files argument.  I decided
against that because I couldn't find a reliable way to determine
which file descriptors llfuse needs.  If we really need the daemon to
report errors, and debugging with --foreground isn't sufficient, I
think we should implement proper logging to a file or syslog.

No issue #.

3076: help menu class name

3076: add Help dropdown to topnav.

Make task working directory world writable, to deal with uid mapping problems
where the uid of the crunch-job user doesn't match uid the docker image user.
CRUNCH_SRC, TASK_WORK, TASK_KEEPMOUNT and are now always bound to
/tmp/crunch-src, /tmp/crunch-job, /mnt respectively when running inside a
docker image.

MagicDirectory.__contains__ now creates CollectionDirectory (which creates
CollectionReader()) and uses update() to determine if a collection exists;
handles cases where the collection only exists on API server. Also improved
arv-mount debug logging.  no issue #

Remove spurious print from fuse driver.  no issue #

Add support for ARVADOS_API_HOST_INSECURE environment variable.  Use Net::SSL
instead of IO::Socket::SSL because the latter seems to ignore
PERL_LWP_SSL_VERIFY_HOSTNAME.  no issue #

Now includes runtime_constraints from the component when creating a new job. no issue #

Only attempt to preload ArvadosBase objects in render_pipeline_component_attribute.  no issue #

Fix get_n_objects_of only accepts ArvadosBase classes, not any class.  no issue #

Fixed cancel_stale_jobs to authorize as system user before modifying jobs
table.  no issue #

Adds "--strip" option to arv-normalize to strip off authorization tokens.
Fixed "mismatched collection uuid" in the "create collection from parts of
other collections" feature of workbench.  no issue #

Fix off-by-one-month in timestamp conversion. refs #2883

Merge branch '2891-workbench-errors-retain-login'

Closes #3032, #3074.  Refs #2891.

2891: Rename and comment Workbench API token filters.

2891: Refactor Workbench API token filters.

Remove dead code and simplify the implementation, especially the
relationship between the "required" and "optional" filters, per
discussion with Peter.

2891: Workbench error page shows login status.

The tests here check that an error page shows the usual user
information for someone logged in, and renders okay for someone who
isn't.

2891: Workbench handles expired tokens more consistently.

Previously Workbench would behave differently depending on whether an
expired token was provided as a query parameter, or living in a
session.  This makes it do the same thing in all cases.  It also fixes
some small bugs around removing api_token from URL paths.

2891: Workbench integration tests cope when screenshots aren't supported.

Fix symlinks in sdk/cli/bin for arv-mount and arv-keepdocker.  no issue #

Suppress "Resource or subcommand '' is not recognized." message when running
arv with no parameters.  refs #2986

Remove spurious puts. refs #2884

Fix crash on unexpected case of a collection whose owner_uuid is not root.
closes #3047

Handle UrlGenerationError as an application exception rather than a
404, even though it subclasses RoutingError. refs #3047

Merge branch '2986-arv-edit' closes #2986

2986: Handles collection ids in 'arv edit' (tells the user collections are not
editable.)  Added error message when subcommand or resource is
unrecognized. Removed old reference to removed command line parameter
global_opts[:resources].

2986: Restored "arv pipeline run" subcommand.  Arv edit will now ask you if you
want to retry if there is parse error.  Fixed capitalization of Arvados.

2986: Report parsing errors and print out contents instead of just blowing up.

2986: Writes tempfile with appropriate extension so editor can apply proper editing mode.

2986: Can now specify which fields you want to edit, because fields like 'uuid'
and 'modified_at' are not updatable.

Fix pipeline instance creation workbench tests.  refs #2884

3031: Improve "Docker image not found" error message.

Rails automatically adds the column name to rendered error message, so
the old version was coming out as "Docker image locator Docker image
not found."  This version reads better.  Refs #3031.

Make Job runtime constraints documentation up-to-date.

Refs #2879, #2880.

Merge branch '2884-improved-picker' closes #2884

Merge remote-tracking branch 'origin/master' into 2884-improved-picker

2884: Added fail callback preview loading fails.  Added comments explaining a
couple of things.  Removed spurious puts.

2986: Implemented "arv edit" command.  Refactored 'arv' to be easier to follow.
Changed control flow of command line processing so that trollop gets a chance
to see command line before subcommands.  Improved help text for subcommands.