3551: Fix source tree layout.

* Move $GOPATH out of the source tree. ($GOPATH is a workspace. Go
  knows how to import source trees into $GOPATH/src/.) This avoids
  replicating the Go workspace structure inside our source tree, and
  allows Go programs to import our libraries the normal way.

* Add Go SDK documentation page showing how to import.

* Rename keep to keepstore.

* In Python tests, we assume keepproxy and keepstore binaries are
  already installed in $GOPATH/bin/ rather than guessing how you want
  them to be built.

* Delete go.sh wrappers. Dependencies are already installed
  automatically by Go. GOPATH is left alone.

Fix repositories.get_all_permissions, add tests. closes #3546

Merge branch '2769-disable-delete-flag' closes #2769

Fix excessive API calls in collection chooser. refs #3489

2769: Add -never-delete command line flag.

Add "wait_for_ajax" to avoid race condition. No issue #

Merge branch '3527-infer-docker-hash-wip'

Closes #3527, #3529.

3527: Support using a Docker image from any stream in a Collection.

This makes Docker image detection more consistent between crunch-job
and the API server, and is more user-friendly.

3527: Find Docker images natively inside Collections.

We previously relied on the docker_image_hash link to treat a
Collection as a Docker image.  This was safer and simpler, but it
creates obstacles for project sharing.  When we have a Collection
locator that we want to treat as a Docker image, we now check that it
has a single file with a single 64-hexdigit tar file in it, and use
that as the hash if so.  This should still prevent clear mistakes
while removing some of the obstacles to sharing.

Hide preview pane on narrow screens. closes #3496

Update tests and user setup methods. refs #3525

Merge branch '3499-home-project' closes #3499

Merge branch '3525-manage-own-repo' refs #3525

3499: Remove "not in any project" warning.

3499: Do not show Home in breadcrumbs when viewing dashboard page.

3499: Do not show "Sharing" tab on Home project.

3499: Show "Home" in "My projects" panel on dashboard.

3499: Do not show "Move" and "Delete" buttons on Home project.

3499: Merge branch 'master' into 3499-home-project

3499: Update arv-put usage message to reflect new behavior.

3499: Reconcile Python tests to new arv-put "home project" behavior.

3499: Fix Python SDK tests to accept signed blob locators.

3499: Improve Python SDK's ability to read apiserver's config files.

Use a hardcoded secret in the default "test" configuration, rather
than generating a random string with erb. Otherwise, the Python test
suite can't figure out what blob signing key the test server actually
ends up using.

Merge branch '3036-mutable-collections' refs #3504

3036: Merge branch 'master' into 3036-mutable-collections

3036: Remove unnecessary code path.

3525: Users can manage permissions on their own repositories

3499: arv-put collections in home project if no --project-uuid specified.

3438: Show input title when choosing Collections for pipeline instances.

Closes #3438.

3482: crunch-job logs locator of job output sans permission hints.

This makes crunch-job log a locator that's consistent with the output
locator that it sets for the job in the database.  Closes #3482.

Re-disable preview pane in project sharing popup.

This was the original behavior, but was lost in a later merge.
No issue #.

3436: Don't show Projects pulldown on project sharing popups.

Closes #3436.

3499: Merge branch 'master' into 3499-home-project

3499: Show Home at root of projects tree. closes #3517

3499: Show home project at /projects/{user_uuid}. closes #3515

3499: Update breadcrumbs. closes #3513

3499: groups/{user_uuid}/contents returns home project contents. closes #3514

3388: Workbench only lists user groups when sharing a project with groups.

This ensures that projects aren't included in the listing, which is
not useful and confusing.  Closes #3388.

3427: Restore arv-put's resume functionality.

The refactoring in 0d1a48e accidentally introduced a bug where arv-put
wipes its resume cache clean before building the uploader.  Because
the refactor always arranges `resume_cache = None` when the user
doesn't want to resume, we can fix the bug by just skipping the wipe.
Closes #3427.

Merge branch '3463-make-sharing-dialog-with-users-more-useful' closes #3463

Merge branch '3444-no-folders' closes #3444

3444: Update documentation referring to obsolete group_class=folder

Merge branch '3372-update-pipeline-template-schema-docs' refs #3372

Add documentation to PipelineTemplate schema for title, description, link_name of pipeline template script_parameters.

3444: Remove support for obsolete group_class=folder

Merge branch '3415-py-sdk-api-errors-wip'

Refs #3415.  Closes #3478.

3415: API exceptions from Python SDK include more error information.

The apiclient module doesn't give us a lot of opportunities to
customize error handling.  Request objects can have response
callbacks, but they only get access to the response headers, not body,
which we need to pass along JSON errors.  After that, apiclient.http
imports apiclient.errors.HttpError directly, and raises that directly
whenever there's a permanent error in an HTTP response.

arvados.api already makes a few monkeypatches to apiclient, and this
commit adds one more: it customizes HttpError's __new__ method to
return a new customized subclass instead.  This is pretty evil,
because it will mess with any other instantiations of HttpError in
client programs.  Its only mitigating grace is that the new subclass
is fully API-compatible with the original.

3415: Python SDK can pass extra arguments to the client constructor.

This gives API authors more flexibility, and lets us write tests using
apiclient's built-in mock functionality.  This is needed to test
#3415.

3321: Add test for rendering unusual pipeline templates.

I wrote this along with the rest of the code for refs #3321, but
failed to commit it.

Fixed link to installing python sdk page. refs #3232

Merge branch '3232-user-guide-updates' closes #3232

Added explicit instructions on sample data to use for tutorial pipeline.

Merge branch '2769-keep-delete-request'

Refs #2769.

Fix bug in StreamFileReader incorrectly updating self._filepos resulting in
incomplete file reads.  closes #3466

Fixed "Tutorial align using bwa mem and SortSam" template.  Tweaked
instructions for creating and editing template.  Fixed docker image in template
provided on "writing a crunch script".

Merge branch '3363-docker-add-option-to-use-auth.curoverse.com'

refs #3363

Provide a bit more detail about build.sh in the documentation.

refs #3363

Only the deepclean Make action should remove the skydns-image and skydock-image files.

refs #3363

Update Docker install documentation:

* suggest use of build.sh to generate config.yml

* reflect now default use of Curoverse SSO server

refs #3363

* Default to using the auth.curoverse.com SSO server. Add instructions
in config.yml.example for using a local SSO server.

* Do not prepopulate the config.yml file generated by build.sh with
random values for _PW and _SECRET variables, let config.rb deal with
that at build time.

* Make config.rb a bit more robust in choosing those values for _PW and
_SECRET by not depending on any particular key order in the config Hash.

refs #3363

Be less presumptuous about the GNU/Linux distribution we are being run
on, and do not try to install ruby >= 1.9.3 automatically.

refs #3363

Merge branch '3261-keep-docker-config'

refs #3261

Merge branch 'master' into 3261-keep-docker-config

3261: simplify Makefile

Add user e-mail address to the list of users an object can be shared with

refs #3463

Do not blow up on the 'Manage account' page if the db contains an ssh
key record that contains an invalid ssh key.

no issue #

2769: more code review comments

* Abandon HTTP 405, return HTTP 200 whenever any blocks were found at
  all

* Return a JSON message only with HTTP 200 (404 implies
  copies_deleted=0, copies_failed=0)

* More clarity in unit tests

Refs #2769

Fixed typo introduced by merge.  refs #3443

2769: code review comments

* DeleteHandler returns http.StatusNotFound when no blocks could be found at all,
  and http.StatusMethodNotAllowed when all delete attempts
  fail (e.g. read-only volumes)

* Unit test cleanup: "http://localhost:25107" is not actually necessary
  to build a http.Request, and it is confusing, so leave it out.

Refs #2769.

Fix for test_mount.FuseGroupsTest to reflect test fixture change.  refs #3443

Merge branch 'origin/3443-read-collections-from-name-links' refs #3443

Conflicts:
services/api/test/fixtures/links.yml
services/api/test/functional/arvados/v1/groups_controller_test.rb

Merge branch 'origin-3442-no-reuse-job-when-output-unreadable' refs #3442

Fixed record symbolic name, comment based on feedback.

Merge branch 'master' into 3232-user-guide-updates

Changed button label to "Add to project..." to match button introduced in #3452.

Updates in response to Radhika's comments.

Add check to JobsController#create that collection output of a job is readable
by current user before attempting to re-use job.  Added unit test.

Added special case to ArvadosModel#readable_by so that a name link going from a
readable group or user uuid confers permission to read the collection.  Added
unit test.

Fix display order of recent jobs and pipelines. closes #3148

Merge branch '3235-top-nav-site-search' refs #3235

3235: Fix test

3235: Show uuid without "unnamed -" prefix for nameless objects.

3235: Fix UrlGenerationError on 404 page.

3235: Merge branch 'master' into 3235-top-nav-site-search

3261: Reduce dependency bloat: process templates one dir at a time.

3261: Turn on --enforce-permissions in run-keep.

3261: Restore (and document) ability to use docker sso container.

closes #3193
Merge branch '3193-manage-account'

3193: one more minor doc update

Merge branch '3193-manage-account' of git.curoverse.com:arvados into 3193-manage-account

3193: add public key as tooltip to the fingerprint

3193: add public key as tooltip to the fingertip

3261: Fix typo.

3261: Fix wrong variable.

3193: some more doc updates

3193: one more doc section and some minor ui updates.

3261: Fix wrong test: wanted file size == 0, not file size != 0.

3193: update user tutorials with the manage account page details.

Merge remote-tracking branch 'origin/3261-keep-docker-config' into 3261-keep-docker-config

3261: Fix permissions on run-keep script