3373: Fix wrong regex group

3373: Fix syntax error in split-fastq

3373: more run-command cleanup, global p -> taskp, tweaked logging levels

3373: arv-run-pipeline-instance: removed .to_json where objects are supplied to :body_object and will be serialized anyway.

3373: Switch run-command to use python logging instead of print.

3373: split-fastq: merge loops to capture both single and paired fastq files.
Will now error out if there are fastq files in subdirectories instead of
ignoring them silently.  Added comment about splitfastq() function.

3373: decompress-all: cleaned up code a bit.  Fail properly with error message on bad input.

Merge branch 'master' into 3373-improve-gatk3-snv-pipeline

3438: Show input title when choosing Collections for pipeline instances.

Closes #3438.

3482: crunch-job logs locator of job output sans permission hints.

This makes crunch-job log a locator that's consistent with the output
locator that it sets for the job in the database.  Closes #3482.

Re-disable preview pane in project sharing popup.

This was the original behavior, but was lost in a later merge.
No issue #.

3436: Don't show Projects pulldown on project sharing popups.

Closes #3436.

3388: Workbench only lists user groups when sharing a project with groups.

This ensures that projects aren't included in the listing, which is
not useful and confusing.  Closes #3388.

3427: Restore arv-put's resume functionality.

The refactoring in 0d1a48e accidentally introduced a bug where arv-put
wipes its resume cache clean before building the uploader.  Because
the refactor always arranges `resume_cache = None` when the user
doesn't want to resume, we can fix the bug by just skipping the wipe.
Closes #3427.

Merge branch '3463-make-sharing-dialog-with-users-more-useful' closes #3463

Merge branch '3444-no-folders' closes #3444

3444: Update documentation referring to obsolete group_class=folder

Merge branch '3372-update-pipeline-template-schema-docs' refs #3372

Add documentation to PipelineTemplate schema for title, description, link_name of pipeline template script_parameters.

3444: Remove support for obsolete group_class=folder

Merge branch 'master' into 3373-improve-gatk3-snv-pipeline

Disable chunking

Merge branch '3415-py-sdk-api-errors-wip'

Refs #3415.  Closes #3478.

Chunking fastq seems to work, but is very slow.

3415: API exceptions from Python SDK include more error information.

The apiclient module doesn't give us a lot of opportunities to
customize error handling.  Request objects can have response
callbacks, but they only get access to the response headers, not body,
which we need to pass along JSON errors.  After that, apiclient.http
imports apiclient.errors.HttpError directly, and raises that directly
whenever there's a permanent error in an HTTP response.

arvados.api already makes a few monkeypatches to apiclient, and this
commit adds one more: it customizes HttpError's __new__ method to
return a new customized subclass instead.  This is pretty evil,
because it will mess with any other instantiations of HttpError in
client programs.  Its only mitigating grace is that the new subclass
is fully API-compatible with the original.

arvados.LOCATOR

import string

Fix syntax error

Check for None

Working on split-fastq to actually split the fastq file.

3415: Python SDK can pass extra arguments to the client constructor.

This gives API authors more flexibility, and lets us write tests using
apiclient's built-in mock functionality.  This is needed to test
#3415.

Use rvm-exec to run gem to install Arvados cli.  Also install dtrx.

3321: Add test for rendering unusual pipeline templates.

I wrote this along with the rest of the code for refs #3321, but
failed to commit it.

Renamed "job.src" to "job.srcdir", "job.id" to "job.uuid", and "task.id" to "task.uuid"

Fixed link to installing python sdk page. refs #3232

Merge branch '3232-user-guide-updates' closes #3232

Added explicit instructions on sample data to use for tutorial pipeline.

$(link ...) now expects complete path.

Merge branch '2769-keep-delete-request'

Refs #2769.

Merge branch 'master' into 3373-improve-gatk3-snv-pipeline

Merge branch '3373-improve-gatk3-snv-pipeline' of git.qr1hi.arvadosapi.com:peter into 3373-improve-gatk3-snv-pipeline

Simplified collection-merge.  Added comments to collection-merge and decompress-all.

Works now

fix parameters

Decompress-all wip

Fix bug in StreamFileReader incorrectly updating self._filepos resulting in
incomplete file reads.  closes #3466

Fixed "Tutorial align using bwa mem and SortSam" template.  Tweaked
instructions for creating and editing template.  Fixed docker image in template
provided on "writing a crunch script".

Merge branch '3363-docker-add-option-to-use-auth.curoverse.com'

refs #3363

Provide a bit more detail about build.sh in the documentation.

refs #3363

Only the deepclean Make action should remove the skydns-image and skydock-image files.

refs #3363

Update Docker install documentation:

* suggest use of build.sh to generate config.yml

* reflect now default use of Curoverse SSO server

refs #3363

* Default to using the auth.curoverse.com SSO server. Add instructions
in config.yml.example for using a local SSO server.

* Do not prepopulate the config.yml file generated by build.sh with
random values for _PW and _SECRET variables, let config.rb deal with
that at build time.

* Make config.rb a bit more robust in choosing those values for _PW and
_SECRET by not depending on any particular key order in the config Hash.

refs #3363

Be less presumptuous about the GNU/Linux distribution we are being run
on, and do not try to install ruby >= 1.9.3 automatically.

refs #3363

Merge branch '3261-keep-docker-config'

refs #3261

Merge branch 'master' into 3261-keep-docker-config

3261: simplify Makefile

Add user e-mail address to the list of users an object can be shared with

refs #3463

Do not blow up on the 'Manage account' page if the db contains an ssh
key record that contains an invalid ssh key.

no issue #

2769: more code review comments

* Abandon HTTP 405, return HTTP 200 whenever any blocks were found at
  all

* Return a JSON message only with HTTP 200 (404 implies
  copies_deleted=0, copies_failed=0)

* More clarity in unit tests

Refs #2769

Fixed typo introduced by merge.  refs #3443

2769: code review comments

* DeleteHandler returns http.StatusNotFound when no blocks could be found at all,
  and http.StatusMethodNotAllowed when all delete attempts
  fail (e.g. read-only volumes)

* Unit test cleanup: "http://localhost:25107" is not actually necessary
  to build a http.Request, and it is confusing, so leave it out.

Refs #2769.

Added $(task.outdir) and $(job.src)

Fix for test_mount.FuseGroupsTest to reflect test fixture change.  refs #3443

Merge branch 'origin/3443-read-collections-from-name-links' refs #3443

Conflicts:
services/api/test/fixtures/links.yml
services/api/test/functional/arvados/v1/groups_controller_test.rb

Merge branch 'origin-3442-no-reuse-job-when-output-unreadable' refs #3442

Fixed record symbolic name, comment based on feedback.

Merge branch 'master' into 3232-user-guide-updates

Changed button label to "Add to project..." to match button introduced in #3452.

Updates in response to Radhika's comments.

Add check to JobsController#create that collection output of a job is readable
by current user before attempting to re-use job.  Added unit test.

Added special case to ArvadosModel#readable_by so that a name link going from a
readable group or user uuid confers permission to read the collection.  Added
unit test.

Fix display order of recent jobs and pipelines. closes #3148

Merge branch '3235-top-nav-site-search' refs #3235

3235: Fix test

3235: Show uuid without "unnamed -" prefix for nameless objects.

3235: Fix UrlGenerationError on 404 page.

3235: Merge branch 'master' into 3235-top-nav-site-search

3261: Reduce dependency bloat: process templates one dir at a time.

3261: Turn on --enforce-permissions in run-keep.

3261: Restore (and document) ability to use docker sso container.

closes #3193
Merge branch '3193-manage-account'

3193: one more minor doc update

Merge branch '3193-manage-account' of git.curoverse.com:arvados into 3193-manage-account

3193: add public key as tooltip to the fingerprint

3193: add public key as tooltip to the fingertip

3261: Fix typo.

3261: Fix wrong variable.

3193: some more doc updates

3193: one more doc section and some minor ui updates.

3261: Fix wrong test: wanted file size == 0, not file size != 0.

3193: update user tutorials with the manage account page details.

Use :body_object instead of :body

Merge remote-tracking branch 'origin/3261-keep-docker-config' into 3261-keep-docker-config

3261: Fix permissions on run-keep script

3261: Improve status reporting

3261: fixes for Docker build process

* New tool list_generated_files avoids difficult quoting/escaping
  problems in Makefile

* keep/Dockerfile fixes permissions on /usr/local/bin/run-keep

Refs #3261.

2769: code review comments

* Updated TODO in handler_test.go.
* Log DELETE requests in DeleteHandler.

Refs #2769

3261: Strip .in from list of generated files.

3261: Fix wrong test: wanted file size == 0, not string length == 0.

3261: Propagate configured RAILS_ENV to Workbench build tasks.

Without this, the rake assets:precompile task defaults to development
mode and does nothing.