Merge branch 'master' into 3296-user-profile

3296: use update method and remove unnecessary update_profile method

Fix repositories.get_all_permissions, add tests. closes #3546

Merge branch '2769-disable-delete-flag' closes #2769

Fix excessive API calls in collection chooser. refs #3489

2769: Add -never-delete command line flag.

Add "wait_for_ajax" to avoid race condition. No issue #

3296: add integration tests for topnav. also, enable profile as default test setting

Merge branch '3527-infer-docker-hash-wip'

Closes #3527, #3529.

3527: Support using a Docker image from any stream in a Collection.

This makes Docker image detection more consistent between crunch-job
and the API server, and is more user-friendly.

3527: Find Docker images natively inside Collections.

We previously relied on the docker_image_hash link to treat a
Collection as a Docker image.  This was safer and simpler, but it
creates obstacles for project sharing.  When we have a Collection
locator that we want to treat as a Docker image, we now check that it
has a single file with a single 64-hexdigit tar file in it, and use
that as the hash if so.  This should still prevent clear mistakes
while removing some of the obstacles to sharing.

Hide preview pane on narrow screens. closes #3496

Update tests and user setup methods. refs #3525

Merge branch '3499-home-project' closes #3499

Merge branch '3525-manage-own-repo' refs #3525

3499: Remove "not in any project" warning.

3499: Do not show Home in breadcrumbs when viewing dashboard page.

3499: Do not show "Sharing" tab on Home project.

3499: Show "Home" in "My projects" panel on dashboard.

3499: Do not show "Move" and "Delete" buttons on Home project.

3499: Merge branch 'master' into 3499-home-project

3499: Update arv-put usage message to reflect new behavior.

3499: Reconcile Python tests to new arv-put "home project" behavior.

3499: Fix Python SDK tests to accept signed blob locators.

3499: Improve Python SDK's ability to read apiserver's config files.

Use a hardcoded secret in the default "test" configuration, rather
than generating a random string with erb. Otherwise, the Python test
suite can't figure out what blob signing key the test server actually
ends up using.

Merge branch '3036-mutable-collections' refs #3504

3036: Merge branch 'master' into 3036-mutable-collections

3036: Remove unnecessary code path.

3525: Users can manage permissions on their own repositories

3499: arv-put collections in home project if no --project-uuid specified.

3438: Show input title when choosing Collections for pipeline instances.

Closes #3438.

3482: crunch-job logs locator of job output sans permission hints.

This makes crunch-job log a locator that's consistent with the output
locator that it sets for the job in the database.  Closes #3482.

3296: improve config parameter explanation

Re-disable preview pane in project sharing popup.

This was the original behavior, but was lost in a later merge.
No issue #.

3436: Don't show Projects pulldown on project sharing popups.

Closes #3436.

3296: profile config edge cases

3296: add profile also in the notification email

Merge branch 'master' into 3296-user-profile

3296: add "message" to profile config

3499: Merge branch 'master' into 3499-home-project

3499: Show Home at root of projects tree. closes #3517

3499: Show home project at /projects/{user_uuid}. closes #3515

3499: Update breadcrumbs. closes #3513

3499: groups/{user_uuid}/contents returns home project contents. closes #3514

3388: Workbench only lists user groups when sharing a project with groups.

This ensures that projects aren't included in the listing, which is
not useful and confusing.  Closes #3388.

3296: some cleanup

3296: remove skip_profile and add params[:partial] handling

3427: Restore arv-put's resume functionality.

The refactoring in 0d1a48e accidentally introduced a bug where arv-put
wipes its resume cache clean before building the uploader.  Because
the refactor always arranges `resume_cache = None` when the user
doesn't want to resume, we can fix the bug by just skipping the wipe.
Closes #3427.

3296: profile path routing

Merge branch '3463-make-sharing-dialog-with-users-more-useful' closes #3463

Merge branch '3444-no-folders' closes #3444

3444: Update documentation referring to obsolete group_class=folder

Merge branch '3372-update-pipeline-template-schema-docs' refs #3372

Add documentation to PipelineTemplate schema for title, description, link_name of pipeline template script_parameters.

3444: Remove support for obsolete group_class=folder

3296: check profile if request method is get.

Merge branch 'master' into 3296-user-profile

Merge branch '3415-py-sdk-api-errors-wip'

Refs #3415.  Closes #3478.

3415: API exceptions from Python SDK include more error information.

The apiclient module doesn't give us a lot of opportunities to
customize error handling.  Request objects can have response
callbacks, but they only get access to the response headers, not body,
which we need to pass along JSON errors.  After that, apiclient.http
imports apiclient.errors.HttpError directly, and raises that directly
whenever there's a permanent error in an HTTP response.

arvados.api already makes a few monkeypatches to apiclient, and this
commit adds one more: it customizes HttpError's __new__ method to
return a new customized subclass instead.  This is pretty evil,
because it will mess with any other instantiations of HttpError in
client programs.  Its only mitigating grace is that the new subclass
is fully API-compatible with the original.

3296: When invoking sudo operations, skip profile check. Profile check is problematic when an admin user does "login as" a different user who has no profile set because after login as that user, the profile page is displayed and needs to be filled. To address this, send an additional "skip_profile" parameter when doing a "login as" or any other sudo operations.

3296: save button placement

3296: display read-only email, first name, last name, and identity url in the profile page.

3296: send notification email when the user first creates profile, provided an address is configured

3415: Python SDK can pass extra arguments to the client constructor.

This gives API authors more flexibility, and lets us write tests using
apiclient's built-in mock functionality.  This is needed to test
#3415.

3296: tests passing and addressed trailing white spaces

3321: Add test for rendering unusual pipeline templates.

I wrote this along with the rest of the code for refs #3321, but
failed to commit it.

Merge branch 'master' into 3296-user-profile

3296: add comments to applicaiton.defaults.yml describing the user_profile_form_fields configuration parameter.

Fixed link to installing python sdk page. refs #3232

3296: redirect to the page that resulted in manage profile page

Merge branch 'master' into 3296-user-profile

3296: manage profile page added

Merge branch '3232-user-guide-updates' closes #3232

Added explicit instructions on sample data to use for tutorial pipeline.

Merge branch '2769-keep-delete-request'

Refs #2769.

Fix bug in StreamFileReader incorrectly updating self._filepos resulting in
incomplete file reads.  closes #3466

Fixed "Tutorial align using bwa mem and SortSam" template.  Tweaked
instructions for creating and editing template.  Fixed docker image in template
provided on "writing a crunch script".

Merge branch '3363-docker-add-option-to-use-auth.curoverse.com'

refs #3363

Provide a bit more detail about build.sh in the documentation.

refs #3363

Only the deepclean Make action should remove the skydns-image and skydock-image files.

refs #3363

Update Docker install documentation:

* suggest use of build.sh to generate config.yml

* reflect now default use of Curoverse SSO server

refs #3363

* Default to using the auth.curoverse.com SSO server. Add instructions
in config.yml.example for using a local SSO server.

* Do not prepopulate the config.yml file generated by build.sh with
random values for _PW and _SECRET variables, let config.rb deal with
that at build time.

* Make config.rb a bit more robust in choosing those values for _PW and
_SECRET by not depending on any particular key order in the config Hash.

refs #3363

Be less presumptuous about the GNU/Linux distribution we are being run
on, and do not try to install ruby >= 1.9.3 automatically.

refs #3363

Merge branch '3261-keep-docker-config'

refs #3261

Merge branch 'master' into 3261-keep-docker-config

3261: simplify Makefile

Add user e-mail address to the list of users an object can be shared with

refs #3463

Do not blow up on the 'Manage account' page if the db contains an ssh
key record that contains an invalid ssh key.

no issue #

2769: more code review comments

* Abandon HTTP 405, return HTTP 200 whenever any blocks were found at
  all

* Return a JSON message only with HTTP 200 (404 implies
  copies_deleted=0, copies_failed=0)

* More clarity in unit tests

Refs #2769

Fixed typo introduced by merge.  refs #3443

2769: code review comments

* DeleteHandler returns http.StatusNotFound when no blocks could be found at all,
  and http.StatusMethodNotAllowed when all delete attempts
  fail (e.g. read-only volumes)

* Unit test cleanup: "http://localhost:25107" is not actually necessary
  to build a http.Request, and it is confusing, so leave it out.

Refs #2769.

Fix for test_mount.FuseGroupsTest to reflect test fixture change.  refs #3443

Merge branch 'origin/3443-read-collections-from-name-links' refs #3443

Conflicts:
services/api/test/fixtures/links.yml
services/api/test/functional/arvados/v1/groups_controller_test.rb

Merge branch 'origin-3442-no-reuse-job-when-output-unreadable' refs #3442

Fixed record symbolic name, comment based on feedback.

Merge branch 'master' into 3232-user-guide-updates

Changed button label to "Add to project..." to match button introduced in #3452.

Updates in response to Radhika's comments.

Add check to JobsController#create that collection output of a job is readable
by current user before attempting to re-use job.  Added unit test.

Added special case to ArvadosModel#readable_by so that a name link going from a
readable group or user uuid confers permission to read the collection.  Added
unit test.