3699: fix copy_git_repo

Need to specify destination branch explicitly when pushing.

3699: bug fixes

3699: bug fixes and feedback

* added 'arv copy' front end to sdk/cli/bin/arv
* can supply --recursive for pipeline templates as well as pipeline
  instance
* collections and git repositories are now properly renamed in the
  pipeline template and instance when copying recursively
* copy_collection skips copying blocks if the collection already exists
  at the destination

3699: add support for --recursive and --project_uuid

3699: rename repositories in copied pipeline instance

3699: typo fix

3699: add copy_git_repo step to copy_pipeline_instance

3699: fix bugs

3699: define copy_git_repo

3699: skip components which have not yet run

3699: test storing the empty collection (edge case)

3699: bug fixes

3699: accept collection hash as uuid

3699: add arv-copy to list of installed scripts

3699: copy docker images

A Docker image dependency is specified, for each component c in
pipeline_instance['components'], as c['job']['docker_image_locator'].
This field is a collection hash for a collection that holds a Docker
image file.

copy_pipeline_instance copies the collections found in these fields as
well as the input collection dependencies found in c['job']['dependencies'].

3699: added copy_pipeline_instance

Added copy_pipeline_instance, integrating copy_collection and
copy_pipeline_template.  Added comments.

3699: arv-copy supports collections

arv-copy can be passed a collection UUID. copy_collection(uuid) copies
each block in the collection from the source Arvados to the destination,
copies the manifest and then writes a collection record.

3699: support pipeline templates

arv-copy can work on pipeline templates.

3699: add arv-copy

* arvados.config.load(config_file) reads config_file for Arvados
  configuration settings.  It returns a hash with the Arvados config
  vars and values.

* arv-copy can authenticate to multiple Arvados instances.

Fix nil dereference causing a fiddlesticks on the collections index page.  no issue #

Complain and fail if exec() returns. No issue #

Pass stdin to child process. closes #3751

Run given command even if src tree already installed. No issue #

closes #3339
Merge branch '3339-truncate-project-descriptions'

3339: fix typo in test

Merge branch 'master' into 3339-truncate-project-descriptions

Remove assertion testing for obsolete output_is_persistent field.  refs #3342

Merge branch 'master' into 3339-truncate-project-descriptions

Set Gemfile version target for arvados-cli to correct version.  refs #3342

3339: some refactoring of the render textile impl. improve the test that verifies project description.

Revert arvados gems to versions that actually exist. refs #3342

Merge branch '3342-pipeline-output-current-project' closes #3342

3342: Fix syntax error in pipeline_instance.rb.  Restore code in crunch-job
that reads manifest text from arv-get pipe.

Merge branch '3414-keep-pull-handler'

Closes #3414.

3414: fix log typo

%s -> %v

3342: Handle case in PipelineInstance#friendly_link_name where
pipeline_template_uuid doesn't return a PipelineTemplate.  Removed unnecessary
code from crunch-job to calculate md5 hash of manifest_text (API server doesn't
require md5 hash to be provided with collection creation any more.)

3339: update test to verify textile description in my projects panel in dashboard.

3339: render truncated textile descriptions in dashboard

3414: update comment for code review

3342: Update documentation.  Add "output_name", remove "output_is_persistent".

3342: Tweak pipeline component status rendering.  Support "output_name":false
to specify no output should be added to the current project.

3342: Fix links to log files to use portable_data_hash.  Remove spurious puts.
Improve error logging.

3414: rename replicator to pull_list

Renamed replicator.Replicator to pull_list.Manager.

3414: update for code review

Added logging for pull lists.  Unsuccessful pull lists are logged with
an error, successful ones are logged with the new pull list.

Renamed the Replicator interface with GetList and SetList.

Merge branch '3354-render-textile' closes #3354

3354: Merge branch 'master' into 3354-render-textile

Conflicts:
apps/workbench/app/assets/stylesheets/application.css.scss
apps/workbench/app/helpers/application_helper.rb
apps/workbench/app/models/group.rb

Fix label for API endpoint. Re-order fields. refs #3112

Ensure source_version is a string, even when it consists entirely of decimal digits. refs #3112

Run the task setup script inside the container (if any), instead of
running setup on the host, using bind-mount for CRUNCH_SRC, and
assuming other directories have already been set up in the docker
image.

No issue #

Merge branch '3627-selectable-projects' closes #3627

3342: Fixing outputs

3342: Removing remaining traces of output_is_persistent.  Added code in
arv-run-pipeline-instance to create collections owned by appropriate project.

refs #3620
Merge branch '3620-admin-only-gear-menu'

3620: correct indentation when current user is available

3414: adding PullHandler and Replicator

Added PullHandler and a "replicator" package to handle "PUT /pull" requests.

PUT /pull requests are routed to PullHandler, which authenticates the
request and validates the JSON in the request body. Valid requests are
sent to the replicator.

The Keepstore replicator runs a goroutine which repeatedly listens on
its input channel for a new pull list.

TestPullHandler tests each combination of: request from superuser;
request from ordinary user; properly formatted pull request; improperly
formatted pull request.  It checks the state of the replicator when done
to make sure that it has the expected number of pull requests.

3414: add replicator.

closes #3620
Merge branch '3620-admin-only-gear-menu'

Merge branch 'master' into 3620-admin-only-gear-menu

closes #3642
Merge branch '3642-search-for-active-only'

3620: change menu item role from presentation to menuitem for clickable links. w3.org/TR/wai-aria/roles#role_definitions

3342: Migration to remove obsolete output_is_persistent column from jobs.

Merge branch 'master' into 3642-search-for-active-only

Merge branch 'master' into 3620-admin-only-gear-menu

closes #3112
Merge branch '3112-report-bug'

Merge branch 'master' into 3112-report-bug

3112: 404 error page default message while reporting issue

Fixed missing import in robust_put.  no issue #

3112: login_tests works with javascript driver

3112: still the login_tests fails when ran in the entire suite

3112: removed rack_test driver and added selenium driver. still the test "trying to use expired token redirects to login page" fails when the entire suite is tested, but passes when this one test file is executed.

3112: add scrollbar to the report issue popup

Merge branch 'master' into 3112-report-bug

3112: skip filters in actions controller, instead of application controller

Merge branch '3136-stale-pipeline-instance-display' closes #3136

3112: no need to reload after sending report.

Merge branch '3147-pysdk-retries'

Closes #3147.

3147: Fix unwanted integer division in KeepClient logs.

3147: Add retry support to Python SDK's KeepClient.

3147: Remove old Keep signing support from Python SDK.

Per Tom.

3147: Add check_http_response_success to Python SDK.

Other parts of the SDK need to end loops based on the result of an
HTTP request.  This function puts that logic in one place.

3147: Add RetryLoop to the Python SDK.

This provides a general-purpose mechanism for us to retry all kinds of
operations.

3147: Move fake Python HTTP response generation to arvados_testutil.

Other tests can use this functionality.

3136: Use map to correctly get the list of uuids.  Check that there is a job
record before trying to use it.

Fix test. refs #3149

Merge branch 'master' into 3112-report-bug

Fix migration and api templates that rely on changes that did not end up happening. refs #3036

Merge branch '3149-server-side-search' closes #3149

3149: Merge branch 'master' into 3149-server-side-search

Set up arvados env vars when running arv-normalize. No issue #

Merge branch '3036-collection-uuids' closes #3036

Merge branch 'master' into 3036-collection-uuids

Conflicts:
services/api/test/fixtures/groups.yml

3036: Fix merge conflicts.  One python sdk test still fails.

Move styles out of tab partial. No issue #

Propagate query params to tab panes. No issue #

Remove uuid-guessing code from "combine selected files". refs #3504

Do not blow up in install stage when TASK_WORK is not set. No issue #

Do not blow up when tmp directory already exists. No issue #

Merge branch '3112-report-bug' into 3642-search-for-active-only

Merge branch '3112-report-bug' into 3620-admin-only-gear-menu

3112: alert left justification

Merge branch 'master' into 3112-report-bug