Merge branch 'master' into 3141-keep-logging-improvements

Don't send null job creation parameters in arv-run-pipeline-instance.  no issue #

Don't raise exception if filters parameter parses to
json "null".  no issue #

Don't set "too long" flag on websocket test timer if the websocket is already
closed.  Hopefully this will make the tests more robust.  no issue #

Update api server Gemfile dependency on arvados-cli package so crunch-dispatch
uses commit:ee99af1
no issue #

refs #3055
Merge branch '3055-advanced-tab-explanations'

Merge branch 'master' into 3055-advanced-tab-explanations

Merge branch 'master' into 3055-advanced-tab-explanations

job create method parameters need to be converted to json before being passed
to google API client.  no issue #

Do not blow up trying to run a job if runtime_constraints is set to nil

no issue #

Add some more detail to the docker installation page.

refs #3131

Merge branch '3174-arv-ls-size-fencepost' closes #3174

Merge branch '2873-permission-links-ownership'

Closes #2873. Huzzah!

Merge branch '2985-shared-projects-descriptions'

Refs #2985, closes #3083, closes #3158.

Update arvados-cli dependency of API server so crunch-dispatch.rb uses
arv-run-pipeline-instance from commit:c806ef1
no issue #

3174: Round up, not down, when reporting file sizes in KB.

3174: Heed "common" section of config yaml the same way apiserver does.

docker: mkimage-debootstrap.sh: wrap which calls that are expected to
fail in a set +e/set -e block

no issue #

"filters" is now propagated through from pipeline component to the job
submission.  Also added example filter to documentation.  no issue #

2873: more code review changes

* get_permissions sets @offset and @limit explicitly to ensure that
  render_list does the right thing.

* Tests updated to use permission links on Groups (permissions are not
  yet working for other objects)

* Added tests for "uuid exists but is unreadable" and "uuid is readable
  but not manageable"

Refs #2873.

2985: display project descriptions inline

Project descriptions in the "My Projects" and "Projects shared with
me" panels are displayed inline next to the project name, not in a
tooltip.

Refs #2985, refs #3083.

Merge branch '3151-permission-ttl'

Closes #3151.

3151: use 2-week default permission TTL

Fixes #3151.

3055: add explanation to the example commands in the advanced tab.

Merge branch '3118-docker-fixes'

refs #3118

Remove superfluous cd commands

refs #3131

Fix up link in the docker alert box.

refs #3131

The linkchecker rake task should return with the exit code of linkchecker.

no issue #

Merge branch '3118-docker-fixes'

refs #3118

Add state of the docker installation alert to the top of the docker
installation page, too.

Merge branch 'master' into 3141-keep-logging-improvements

2873: changes for code review

Incorporating code review comments:

* @Link#get_permissions@ uses @Link.where@ instead of @find_objects_for_index@; @find_object_for_uuid@ just populates @@object@ with the head_uuid object and leaves @@objects@ alone.
* @ArvadosModel.lookup_by_uuid@ renamed @ArvadosModel.find_by_uuid@ and punts to the superclass if called as a subclass method.
* Test @get_permissions_returns_list@ checks that the :active user can get permissions. Also uses the group fixtures for testing permissions instead of collections (because can_manage permissions only work so far on users and groups.

(refs #2873)

Do not print an error when hitting 'not found' with a the MockVolume
backend.

Move error logging for block-not-found from GetBlock to GetBlockHandler.

It doesn't belong in GetBlock because GetBlock is also called from
PutBlock, which checks to see if a block exists before it writes it
again.

In other words, in the most common scenario (a PUT of a new block), Keep
should not print a bogus error message.

UnixVolume has no business being loud about files that can not be found.
Just pass on the error to the caller and be quiet.

Back story: for every PUT, Keep checks if the block already exists.
Prior to this patch, UnixVolume would complain loudly if the block did
not already exist in the volume (i.e. the normal case for a PUT).

Change crunch-dispatch to use "git fetch-pack --all" insted of "git fetch" to
fetch entire repository instead of just the history for HEAD.  This seems to be
the only way to ensure that arbitrary script version hashes not in the history
of the source's HEAD are fetched without using refs (tags or branches).
no issue #

Add documentation to doc.arvados.org for the local Docker install.

Add explicit version constraint < 1.0.0 on 'jwt' gem for arvados-cli, because
google-api-client gem dependecy breaks with jwt 1.0.0.  no issue #

Merge branch '3118-docker-fixes'

refs #3118

Merge branch 'master' into 3118-docker-fixes

Add documentation to doc.arvados.org for the local Docker install.

Change crunch-dispatch to use "git fetch-pack --all" insted of "git fetch" to
fetch entire repository instead of just the history for HEAD.  This seems to be
the only way to ensure that arbitrary script version hashes not in the history
of the source's HEAD are fetched without using refs (tags or branches).
no issue #

Always initialize arvados.api() so it doesn't silently fail when
ARVADOS_API_HOST isn't set.  Improve error handing in arv-mount.  no issue #

Add dockerfile to build arvados/jobs-bwa-samtools image. no issue #

Merge branch '3099-spinner-assets' closes #3099

3099: Use appropriate tr>td markup if infinite scroll container is a table.
Remove unused class.

Update required arvados-cli package to get fix 55e1aaf (Fix 'arv' to handle
missing/non-writable $HOME). no issue #

Merge branch 'arv-crunch-HOME-envvar' no issue #

Set $HOME to /tmp/crunch-job for docker.

Merge branch '3118-docker-fixes'

refs #3118

Merge branch '2891-improve-workbench-errors'

Closes #3079, #3080, #2891, #3092.

Merge branch 'master' into 3118-docker-fixes

2891: Workbench details the requested item on its 404 page.

2891: Trying to show a non-UUID in Workbench renders 404.

2891: Workbench reliably reloads model columns after failure.

ArvadosBase @columns could get stuck as [] if the API server wasn't
available during Workbench's first API request.  This change ensures
that it keeps trying to reload column information until it receives
good data.

2891: Workbench renders login exceptions earlier.

These changes are designed to ensure that if there are any problems
getting information from the current API token (other than expected
401 Unauthorized responses), those problems are raised early and
propagated up to the exception handler.  This helps better ensure that
thread state is consistent when we get to later stages of request
processing.

2891: Workbench current_user copes when API server is unreachable.

2891: Workbench converts API HTTP errors to API exceptions.

2891: Guard against API server errors in Workbench layout.

The goal here is to generally avoid situations like #3031 where
trouble talking to the API server prevents us from even rendering an
error page.  Previous commits made us smarter about logged in status.
This guards against other API errors.

Clean redundant conditional from Workbench layout.

2891: Workbench displays more info about API errors.

2891: Add Workbench test for expired API token.

2891: Add index link to Workbench 404 responses.

2891: Workbench returns 404 when API object doesn't exist.

2891: Workbench API client raises structured exceptions.

These changes will make it easier for the rest of the Workbench code
to cope with these errors more gracefully—even if that just means
friendlier reporting of the error.

2891: API server assigns error tokens.

These unique tokens are both logged and sent along with the response,
making it easier to cross-reference what the client does with what
happens on the API server.

2891: API server ApplicationController style updates.

This ports over some of the niceties we've recently implemented in the
Workbench ApplicationController.

2891: Fix bug in Workbench error page test.

docker: arvdoc: start up doc and workbench last so it's less likely the
user will overlook the URL hint that is printed out.

docker: arvdock: whitespace cleanup

docker: usability improvements for arvdock.

Set $HOME to $TASK_WORK for tasks.  no issue #

Fix 'arv' to handle missing/non-writable $HOME.  no issue #

closes #3076
Merge branch '3076-topnav-help'

Merge branch 'master' into 3076-topnav-help

closes #3088
Merge branch '3088-project-chooser-on-run-pipeline-template'

3088: address review feedback -- change the icon positioning on the Run button.

Merge branch 'master' into 3088-project-chooser-on-run-pipeline-template

refs #2659
Merge branch '2659-anonymous-server-side'

Merge branch 'master' into 3088-project-chooser-on-run-pipeline-template

Merge branch 'master' into 2659-anonymous-server-side

2659: look for scopes and expires_at when getting anonymous token. also, update create anonymous user to check for group link even when the user exists.

docker: remove warehouse container; add new keep container.

refs #3120

Add 'run-command' generic crunch command wrapper.  refs #2342

2659: remove the share_the_aproject_with_all_groups fixture in links.

Merge branch 'master' into 2659-anonymous-server-side

docker: bump up passenger version. This is highly unsatisfactory, and needs
proper fixing.

docker: fix up the link between workbench and the API server, work around the
lack of ERB parsing in application.yml

docker: a bunch of tweaks to bring the docker setup up to snuff with the latest
version of our codebase.

docker: arvdock: support new Debian docker.io packages

docker: more changes to support new Debian docker.io packages

docker: build_tools/build.rb: improve language around Google account.

docker: build_tools/build.rb: support new Debian docker.io packages

docker: build_tools/build.rb: exit with non-zero exit code when something goes
wrong.

2873: add /permissions API method

The /permissions/:uuid method will return a list of all permissions that
the current user is allowed to see on the given uuid.

* New method LinksController::get_permissions, with a route from
  /arvados/v1/permissions.

* LinksController overrides find_object_by_uuid to permit looking up a
  uuid in any class, when called by get_permissions.

* Moved link permission checking to Link.ensure_owner_uuid_is_permitted.

* Use current_user.can? to check the user's permission on head_uuid.
  Removed unnecessary owns? and can_manage? code.

* Unit tests:

  * test/integration/permissions_test.rb: added tests:
    * "get_permissions returns list"
    * "get_permissions returns 404 for nonexistent uuid"
    * "get_permissions returns 403 if user lacks manage permission"

  * test/unit/link.rb: test that only permission and name links have
    their ownership changed upon save.

  * test/unit/permission_test.rb: test the following scenario: when user
    "active" owns a group G which can_manage another group H, then
    active user is permitted to create permission links directly on
    objects in group H.

Refs #2873.

2873: perms

Fix tests broken by adding zero-length block manifests containing a zero length
file.  refs #3084

Handle empty directories in arv-put.  refs #3087

Handle zero-length streams that contain zero-length files.  refs #3084

Merge branch 'master' into 3076-topnav-help

Merge branch 'master' into 3088-project-chooser-on-run-pipeline-template