3405: Mark pipeline instances failed when they're aborted.

3405: Log errors about launching pipeline instances.

There's a couple of components to this:

* Do some basic checks on the organization of the pipeline instance
  before we start running it, and abort if any of them fail.

* If the pipeline runner aborts for any reason, send that as pipeline
  instance stderr to the API server, so other tools like Workbench can
  render it for users' benefit.

Merge branch '3531-sort-jobs-with-pipelines' closes #3531

Fix "undefined method `uuid' for nil:NilClass". closes #3576

Fix regular expression in decompress-all.py  refs #3373

Fix syntax error in decompress-all.py  refs #3373

3531: Pass through tab_pane to reused partials, so element IDs are really unique
across tabs.

3531: Fix ordering of combined results, add test. Anchor "desc" regexp.

Merge branch '3373-improve-gatk3-snv-pipeline' closes #3373

3373: Test filename extension before attempting to call dtrx.  Non-zero dtrx exit code is now treated as failure.

Merge branch '3178-discoverable-parameters' closes #3178

3572: Set state to RunningOnServer if --submit given. closes #3572

Merge branch '3570-crunch-race' closes #3570

Merge branch '3412-full-collections-index'

Closes #3412, #3534.

3412: Make manifest_text selectable from Collections index API.

3412: Make non-database fields selectable from API server.

This makes it possible to pass method-back field names, like
"data_size" and "files" from Collections, to the select parameter.

3412: Refactor common manifest munging in API Collections controller.

3412: Clean API Collections controller trailing whitespace.

Update more PGP web links. No issue #

Update PGP download link. No issue #

3178: Merge bogus _setup_requires_parameters into existing class method.

3570: Use exit code 75 to mean "temporary locking failure". Add comments.

Merge branch '3489-indicate-initial-project-filter' closes #3489

3531: Move the tab_line_buttons sections out of the tab pane partials
into the appropriate "index" and "show" pages.

Until now, we have been predicting which tab pane will be rendered
with the initial page view, and putting content_for :tab_line_buttons
in that pane. But the tab_line_buttons aren't really in that tab pane,
so they really don't deserve to be in that partial.

This worked as long as the initial tabs were being rendered in a
different way than subsequent tab loads. Now that we render all tab
pane contents using the same helper method, we have to clean this up.

Merge branch '3570-crunch-race' closes #3570

3531: Make test case less confusing.

3531: Add large limit parameter to ensure we get all of the user/group objects
we want (within reason).

3531: Dry up tab pane rendering. Fix copy-and-paste error on tab_name.

3531: Do not assume order is always descending.

3489: Add test for correct dropdown text.

3489: Degrade nicely if initial filter refers to an unreadable project.

3489: Remove debug comment.

Fix broken link again. refs #3254

Fix broken links. refs #3254

Merge branch '3254-run-job-locally-docs' closes #3254 refs #3556

3254: Typo fix "reproducibilty" -> "reproducibility".  Changed use of the term "parallel" to "concurrent" refs #3556

3570: Do not fail the job when crunch-job loses a locking race during startup.

Merge branch '3212-pipeline-no-reuse' closes #3212

3178: Discover required parameters for regular CRUD methods, too.

3178: Use different discovery doc cache files for different API servers.

Also port "use api even if discovery cache file can't be written"
rescue block from arvados-cli to arvados gem.

3178: Add missing jobs.create and users.setup parameters to discovery document.

3531: Fix test to accommodate more ajax.

3531: Fix name-editing behavior: preserve name_links when merging results.

3531: Look up relevant portion of uuid->{user,group} map when loading projects tab.

3531: Hook infinite-scroll to resize events.

Resizing the browser window can reveal the bottom of an
infinite-scroll element without triggering a scroll event. Listening
for resize events ensures we notice when this happens.

3531: Add tests for sort order on "jobs and pipelines" tab.

3531: Remove debug limit.

3531: Use dropdown caret instead of down arrow on selection dropdown.

3531: Fix horizontal alignment of selectable and non-selectable things.

3531: Refactor project tab infinite-scroll. Sort jobs and pipelines
together by date, instead of sorting first by type.

3212: Support arv-run-pipeline-instance --no-reuse --submit

Fix repositories.get_all_permissions, add tests. closes #3546

3373: split-fastq: Fix loop

3373: split-fastq: Fix regex again

3489: Indicate initially selected project in chooser. closes #3544

3373: Fix wrong regex group

3373: Fix syntax error in split-fastq

3373: more run-command cleanup, global p -> taskp, tweaked logging levels

Merge branch '2769-disable-delete-flag' closes #2769

3373: arv-run-pipeline-instance: removed .to_json where objects are supplied to :body_object and will be serialized anyway.

Fix excessive API calls in collection chooser. refs #3489

3373: Switch run-command to use python logging instead of print.

3373: split-fastq: merge loops to capture both single and paired fastq files.
Will now error out if there are fastq files in subdirectories instead of
ignoring them silently.  Added comment about splitfastq() function.

3373: decompress-all: cleaned up code a bit.  Fail properly with error message on bad input.

2769: Add -never-delete command line flag.

Add "wait_for_ajax" to avoid race condition. No issue #

Merge branch '3527-infer-docker-hash-wip'

Closes #3527, #3529.

3527: Support using a Docker image from any stream in a Collection.

This makes Docker image detection more consistent between crunch-job
and the API server, and is more user-friendly.

3527: Find Docker images natively inside Collections.

We previously relied on the docker_image_hash link to treat a
Collection as a Docker image.  This was safer and simpler, but it
creates obstacles for project sharing.  When we have a Collection
locator that we want to treat as a Docker image, we now check that it
has a single file with a single 64-hexdigit tar file in it, and use
that as the hash if so.  This should still prevent clear mistakes
while removing some of the obstacles to sharing.

Hide preview pane on narrow screens. closes #3496

Update tests and user setup methods. refs #3525

Merge branch '3499-home-project' closes #3499

Merge branch '3525-manage-own-repo' refs #3525

3499: Remove "not in any project" warning.

3499: Do not show Home in breadcrumbs when viewing dashboard page.

3499: Do not show "Sharing" tab on Home project.

3499: Show "Home" in "My projects" panel on dashboard.

3499: Do not show "Move" and "Delete" buttons on Home project.

3499: Merge branch 'master' into 3499-home-project

3499: Update arv-put usage message to reflect new behavior.

3499: Reconcile Python tests to new arv-put "home project" behavior.

3499: Fix Python SDK tests to accept signed blob locators.

3499: Improve Python SDK's ability to read apiserver's config files.

Use a hardcoded secret in the default "test" configuration, rather
than generating a random string with erb. Otherwise, the Python test
suite can't figure out what blob signing key the test server actually
ends up using.

Merge branch '3036-mutable-collections' refs #3504

3036: Merge branch 'master' into 3036-mutable-collections

3036: Remove unnecessary code path.

3525: Users can manage permissions on their own repositories

3499: arv-put collections in home project if no --project-uuid specified.

Merge branch 'master' into 3373-improve-gatk3-snv-pipeline

3438: Show input title when choosing Collections for pipeline instances.

Closes #3438.

"Writing a crunch script" now shows how to run locally, "Running on an Arvados cluster" shows how to commit to git and create a pipeline template.

3482: crunch-job logs locator of job output sans permission hints.

This makes crunch-job log a locator that's consistent with the output
locator that it sets for the job in the database.  Closes #3482.

Re-disable preview pane in project sharing popup.

This was the original behavior, but was lost in a later merge.
No issue #.

3436: Don't show Projects pulldown on project sharing popups.

Closes #3436.

3499: Merge branch 'master' into 3499-home-project

3499: Show Home at root of projects tree. closes #3517

3499: Show home project at /projects/{user_uuid}. closes #3515

3499: Update breadcrumbs. closes #3513

3499: groups/{user_uuid}/contents returns home project contents. closes #3514

3388: Workbench only lists user groups when sharing a project with groups.

This ensures that projects aren't included in the listing, which is
not useful and confusing.  Closes #3388.