Fix excessive API calls in collection chooser. refs #3489

3373: Switch run-command to use python logging instead of print.

3373: split-fastq: merge loops to capture both single and paired fastq files.
Will now error out if there are fastq files in subdirectories instead of
ignoring them silently.  Added comment about splitfastq() function.

3373: decompress-all: cleaned up code a bit.  Fail properly with error message on bad input.

2769: Add -never-delete command line flag.

Add "wait_for_ajax" to avoid race condition. No issue #

3296: add integration tests for topnav. also, enable profile as default test setting

Merge branch '3527-infer-docker-hash-wip'

Closes #3527, #3529.

3527: Support using a Docker image from any stream in a Collection.

This makes Docker image detection more consistent between crunch-job
and the API server, and is more user-friendly.

3527: Find Docker images natively inside Collections.

We previously relied on the docker_image_hash link to treat a
Collection as a Docker image.  This was safer and simpler, but it
creates obstacles for project sharing.  When we have a Collection
locator that we want to treat as a Docker image, we now check that it
has a single file with a single 64-hexdigit tar file in it, and use
that as the hash if so.  This should still prevent clear mistakes
while removing some of the obstacles to sharing.

Hide preview pane on narrow screens. closes #3496

Update tests and user setup methods. refs #3525

Merge branch '3499-home-project' closes #3499

Merge branch '3525-manage-own-repo' refs #3525

3499: Remove "not in any project" warning.

3499: Do not show Home in breadcrumbs when viewing dashboard page.

3499: Do not show "Sharing" tab on Home project.

3499: Show "Home" in "My projects" panel on dashboard.

3499: Do not show "Move" and "Delete" buttons on Home project.

3499: Merge branch 'master' into 3499-home-project

3499: Update arv-put usage message to reflect new behavior.

3499: Reconcile Python tests to new arv-put "home project" behavior.

3499: Fix Python SDK tests to accept signed blob locators.

3499: Improve Python SDK's ability to read apiserver's config files.

Use a hardcoded secret in the default "test" configuration, rather
than generating a random string with erb. Otherwise, the Python test
suite can't figure out what blob signing key the test server actually
ends up using.

Merge branch '3036-mutable-collections' refs #3504

3036: Merge branch 'master' into 3036-mutable-collections

3036: Remove unnecessary code path.

3525: Users can manage permissions on their own repositories

3499: arv-put collections in home project if no --project-uuid specified.

Merge branch 'master' into 3373-improve-gatk3-snv-pipeline

3438: Show input title when choosing Collections for pipeline instances.

Closes #3438.

"Writing a crunch script" now shows how to run locally, "Running on an Arvados cluster" shows how to commit to git and create a pipeline template.

3482: crunch-job logs locator of job output sans permission hints.

This makes crunch-job log a locator that's consistent with the output
locator that it sets for the job in the database.  Closes #3482.

3296: improve config parameter explanation

Re-disable preview pane in project sharing popup.

This was the original behavior, but was lost in a later merge.
No issue #.

3436: Don't show Projects pulldown on project sharing popups.

Closes #3436.

3296: profile config edge cases

3296: add profile also in the notification email

Merge branch 'master' into 3296-user-profile

3296: add "message" to profile config

3499: Merge branch 'master' into 3499-home-project

3499: Show Home at root of projects tree. closes #3517

3499: Show home project at /projects/{user_uuid}. closes #3515

3499: Update breadcrumbs. closes #3513

3499: groups/{user_uuid}/contents returns home project contents. closes #3514

3388: Workbench only lists user groups when sharing a project with groups.

This ensures that projects aren't included in the listing, which is
not useful and confusing.  Closes #3388.

3296: some cleanup

3296: remove skip_profile and add params[:partial] handling

3427: Restore arv-put's resume functionality.

The refactoring in 0d1a48e accidentally introduced a bug where arv-put
wipes its resume cache clean before building the uploader.  Because
the refactor always arranges `resume_cache = None` when the user
doesn't want to resume, we can fix the bug by just skipping the wipe.
Closes #3427.

3296: profile path routing

Merge branch '3463-make-sharing-dialog-with-users-more-useful' closes #3463

Merge branch '3444-no-folders' closes #3444

3444: Update documentation referring to obsolete group_class=folder

Merge branch '3372-update-pipeline-template-schema-docs' refs #3372

Add documentation to PipelineTemplate schema for title, description, link_name of pipeline template script_parameters.

3444: Remove support for obsolete group_class=folder

Merge branch 'master' into 3373-improve-gatk3-snv-pipeline

3296: check profile if request method is get.

Disable chunking

Merge branch 'master' into 3296-user-profile

Merge branch '3415-py-sdk-api-errors-wip'

Refs #3415.  Closes #3478.

Chunking fastq seems to work, but is very slow.

3415: API exceptions from Python SDK include more error information.

The apiclient module doesn't give us a lot of opportunities to
customize error handling.  Request objects can have response
callbacks, but they only get access to the response headers, not body,
which we need to pass along JSON errors.  After that, apiclient.http
imports apiclient.errors.HttpError directly, and raises that directly
whenever there's a permanent error in an HTTP response.

arvados.api already makes a few monkeypatches to apiclient, and this
commit adds one more: it customizes HttpError's __new__ method to
return a new customized subclass instead.  This is pretty evil,
because it will mess with any other instantiations of HttpError in
client programs.  Its only mitigating grace is that the new subclass
is fully API-compatible with the original.

3296: When invoking sudo operations, skip profile check. Profile check is problematic when an admin user does "login as" a different user who has no profile set because after login as that user, the profile page is displayed and needs to be filled. To address this, send an additional "skip_profile" parameter when doing a "login as" or any other sudo operations.

3296: save button placement

3296: display read-only email, first name, last name, and identity url in the profile page.

arvados.LOCATOR

import string

Fix syntax error

Check for None

Working on split-fastq to actually split the fastq file.

3296: send notification email when the user first creates profile, provided an address is configured

3415: Python SDK can pass extra arguments to the client constructor.

This gives API authors more flexibility, and lets us write tests using
apiclient's built-in mock functionality.  This is needed to test
#3415.

Use rvm-exec to run gem to install Arvados cli.  Also install dtrx.

3296: tests passing and addressed trailing white spaces

3321: Add test for rendering unusual pipeline templates.

I wrote this along with the rest of the code for refs #3321, but
failed to commit it.

Merge branch 'master' into 3296-user-profile

3296: add comments to applicaiton.defaults.yml describing the user_profile_form_fields configuration parameter.

Renamed "job.src" to "job.srcdir", "job.id" to "job.uuid", and "task.id" to "task.uuid"

Fixed link to installing python sdk page. refs #3232

3296: redirect to the page that resulted in manage profile page

Merge branch 'master' into 3296-user-profile

3296: manage profile page added

Merge branch '3232-user-guide-updates' closes #3232

Added explicit instructions on sample data to use for tutorial pipeline.

$(link ...) now expects complete path.

Merge branch '2769-keep-delete-request'

Refs #2769.

Merge branch 'master' into 3373-improve-gatk3-snv-pipeline

Merge branch '3373-improve-gatk3-snv-pipeline' of git.qr1hi.arvadosapi.com:peter into 3373-improve-gatk3-snv-pipeline

Simplified collection-merge.  Added comments to collection-merge and decompress-all.

Works now

fix parameters

Decompress-all wip

Fix bug in StreamFileReader incorrectly updating self._filepos resulting in
incomplete file reads.  closes #3466

Fixed "Tutorial align using bwa mem and SortSam" template.  Tweaked
instructions for creating and editing template.  Fixed docker image in template
provided on "writing a crunch script".

Merge branch '3363-docker-add-option-to-use-auth.curoverse.com'

refs #3363

Provide a bit more detail about build.sh in the documentation.

refs #3363

Only the deepclean Make action should remove the skydns-image and skydock-image files.

refs #3363

Update Docker install documentation:

* suggest use of build.sh to generate config.yml

* reflect now default use of Curoverse SSO server

refs #3363

* Default to using the auth.curoverse.com SSO server. Add instructions
in config.yml.example for using a local SSO server.

* Do not prepopulate the config.yml file generated by build.sh with
random values for _PW and _SECRET variables, let config.rb deal with
that at build time.

* Make config.rb a bit more robust in choosing those values for _PW and
_SECRET by not depending on any particular key order in the config Hash.

refs #3363