3699: fix namespace clash: rename module to arv_copy

Prevents confusion with the Python 'copy' module.

No issue # (bug fix)

3699: figure out correct docker image to fetch

Use arvados.commands.keepdocker.list_images_in_arv to figure out which
Docker image is represented by a given image name+tag.

3699: copy docker image links

copy_docker_images and copy_docker_image copy any docker image
collections and add 'docker_image_repo+tag' and 'docker_image_hash'
links as necessary at the destination.

3699: bug fixes

* abort() should not crash the program because it's calling logging.info
  wrong
* if the pipeline description is None, correctly substitute an empty
  string in the destination pipeline.
* finish writing collection progress at 100%

3699: bug fix

The re.sub 'repl' function takes a MatchObject as argument, not a
string. Oops.

Also we need to do manifest.splitlines(True) in order to be able to tell
whether the manifest ends with a newline in the first place.

3699: collection copying bug fixes

From code review #3699-35:
* Updated help text
* Find collection UUIDs and hashes throughout script_parameters even if
  buried in command arguments
* Use logger consistently in preference to "print >>sys.stderr"
* isinstance(obj, basestr)
* Fix ensure_unique_name handling
* copy_collection now correctly handles manifests without a trailing
  newline

3699: allow script_version to be a branch

Fix copy_git_repo to behave properly when the source script_version
refers to a branch on the source repository:

* clone the source repo with git clone --bare (ensuring that local
  branch refs are created for all remote branch refs)
* name the destination branch for "repository_script_version" to prevent
  merge conflicts, if we copy different branches on the source
  repository to the same destination repository

3699: bugfix: some leftover recursive/force options

recursive -> args.recursive
force -> args.force
dst_git_repo -> args.dst_git_repo

3699: report on collection copying progress

Merge branch 'master' into 3699-arv-copy

Merge branch '4197-remove-enforce-permissions-check-from-index-handler'
Closes #4197

Modified IndexHandler to match TrashHandler and PullHandler
* No longer checks for the enforce-permissions flag.
* Still checks for DataManager auth token.
* The HTTP error returned when we don't find the DataManager auth token is now Unauthorized instead of Forbidden.

Modified tests to check for new behavior.

Resolve race condition: wait for response before checking mock expectations. refs #3782

4196: arv-keepdocker uses Docker 1.0 pull syntax.

`docker pull -t` was the old way of pulling an image with a specific
tag.  Docker 1.0 introduced `docker pull repo:tag`, and Docker 1.2
removes support for `-t` completely.  We're well-standardized on 1.1+
at this point, and considering an upgrade to 1.2+, so now's the time
to switch.

Closes #4196.

4126: API server uses fixed a-r-p-i (again).

Refs #4126.

4126: a-r-p-i dereferences parameter values when creating jobs.

Refs #4126.  This is required to run jobs.

4126: API server uses fixed a-r-p-i.

Refs #4126.

Merge branch '3692-event-bus-fix-and' closes #3692

Merge branch '3656-arv-create' closes #3656

3656: Delete unused documentation page

3656: Alphabetize list of subcommands.  Rename tmp -> tmp_file.  Small wording change on doc pages.

3692: Bug fix for inadequate grouping when constructing selection.

Merge branch '4139-blocking-node-manager-tests-wip'

Refs #2881, #4139.  Closes #4184.

4139: Node Manager README links to compute node lifecycle page.

4139: Speed up Node Manager tests.

Previously, the tests would poll interesting mocks, waiting for them
to be called.  This introduces significant overhead to the tests, and
they would frequently time out on Jenkins.  This modifies the tests to
get more information by blocking on the tested actors, which means
more predictability and less fighting for CPU (typical runtimes for
all the tests improved from 5 seconds to 0.5 seconds on my
workstation).

The downside to this approach is that it ties the tests more tightly
to the underlying actors' implementation.  In particular, they
sometimes send a message and block for a response to ensure that any
internal messages generated by the *last* message have been handled.
This is less than ideal, but I don't have a better idea right now.

3692: Explicitly incorporate sequence number test into where clause

Websocket server side fix, perform database notify in after_save callback on
the log object instead of in log_change on ArvadosBase because crunch-dispatch
was creating Log objects directly and bypassing the notification in log_change.

closes #4126
Merge branch '4126-preserve-parameter-hash'

3692: Fixed test, and fixed the actual bug

3656: Add missing file

4139: Add README to Node Manager.

Refs #4139.

4139: Add *.egg to Node Manager's .gitignore.

`python setup.py test` will automatically download dependencies to the
source directory if you don't already have them available in your
environment.  Refs #2881, #4139.

4139: Add environment configuration knobs for Node Manager tests.

These are settings I've fiddled with regularly over the course of
development, and now it looks like we're going to need to fiddle them
some more to accommodate Jenkins.  I'm exposing them as environment
variables so I can stop messing with the code appropriately.
Refs #4139.

3656: Documentation updated to use "arv create".

3656: Support additional create parameters on the command line, only open
editor on the object itself, should be less confusing.

3656: Add arv-create command.  Refactor run_editor to be shared by arv_edit and arv_create.

Merge branch '4042-run-command-MxN' closes #4042

4042: Typo fixes.  Highlight run-command and script_parameters in text.  Rename
--job-parameters to --script-parameters and add mention of --dry-run mode.

Update install docs for keep→keepstore rename.

No issue #.  Reported on #arvados.

Merge branch '3381-job-progress-bar-bug' closes #3381

3381: Fix layout comment

4126: undo the hash parameter retention logic for value

3699: bug fix: use destination permission hints

Fix copy_collection permission bug: when copying collections, the
manifest in the collection created at the destination must have
permission hints returned by the destination Keep server.

Also fixed bug in arvados.keep.KeepClient (use the api_client's API
token when one is specified)

Merge branch 'master' into 4126-preserve-parameter-hash

4126: when parameter is a hash, use it as value if nothing else matches.

Merge branch '2881-node-manager'

Closes #2881, #4106.

2881: Add Node Manager service.

Updated examples.

Merge branch '4042-run-command-MxN' of git.curoverse.com:arvados into 4042-run-command-MxN

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

4042: Update documentation samples.  Small fix to dry-run to allow supplying custom TASK_KEEPMOUNT.

4042: Rename bad reuse of 'p' to 'match' in expand_item.  Finish describing
$(task.outdir).  Clarify that list functions take a user parameter name.  Fix
other spelling and grammatical errors in documentation.

Merge branch '4044-crunchstat-wait' refs #4044

4044: Merge branch 'master' into 4044-crunchstat-wait

4044: Add comments to "continue" statements.

3381: Reorganize _running_components to be clearer.  Fixing workbench.

4126: Preserve hash form when populating component parameters.

closes #3990
Merge branch '3990-owner-when-rerunning-pipeline'

3990: minor test update

4044: Clean up channel and pipe usage.

* Remove code for using one goroutine to copy stdout and stderr from
  channels to pipes. Instead, copy stderr from channel to pipe in a
  simple goroutine, and use give the child our own Stdout to use (we
  don't use it ourselves anyway).

* Rename functions (OutputChannel -> CopyChanToPipe, ReadLineByLine ->
  CopyPipeToChan).

* Add "stop" channel to shut down polling loop when child process
  exits.

* Check for errors when opening cgroup stats files. Report errors
  instead of displaying bogus stats.

* Split main() into run() and a short main() with os.Exit logic, so
  deferred functions run regardless of exit path.

* Close dangling filehandle when cgroup_cidfile succeeds.

* Fix slight divide-by-zero opportunity when elapsed==0.

* Fix condition triggering the "could not read cid file" error
  message.

3699: add 'force' argument to pipelines

Pass the --force option through pipeline copying to the underlying
collections.

Merge branch 'master' into 3990-owner-when-rerunning-pipeline

closes #3882
Merge branch '3882-cancel-already-cancelled-job'

3882: update "after_validation :update_timestamps_when_state_changes" to "before_save :update_timestamps_when_state_changes",
and also add comple more test combinations around cancelled state.

Merge branch 'master' into 3882-cancel-already-cancelled-job

3699: add retry support

Set default num_retries to 2 for the src and dst KeepClients.

Merge branch 'master' into 3990-owner-when-rerunning-pipeline

3990: rerunning pipeline from within a project with no write permission

Merge branch '3775-fetch-git-repo' closes #3775

Conflicts:
sdk/cli/bin/crunch-job

3699: expose to the user that a pipeline has been copied

Copied pipeline templates and instances indicate via the 'description'
and 'name' fields that they have been copied from another pipeline.

The pipeline instance also reports this programmatically via the
'properties' hash.

Merge branch 'master' into 3990-owner-when-rerunning-pipeline

3990: add integration tests to rerun pipeline.

Merge branch '4012-crunch-job-api-retries-wip'

Closes #4012.

4012: crunch-job retries all API operations.

This will make jobs more robust against transient errors when talking
to the API server.

3775: Fix SDK usage.

3775: Update comment

3775: Update comment

3775: Update perlpod. Use items_available. Be more conservative when
using already-cached commit sha1s, expand related comment. Move "skip
if not possible now" checks into subroutines.

Merge branch 'master' into 3990-owner-when-rerunning-pipeline

3990: refactor pipeline instances integration test to reuse logic that creates and runs a pipeline.

Merge branch '3828-keepproxy-race' closes #3828

3634: Update user setup tests for preserved tab state.

These tests assume that the page reloads after submitting Ajax
dialogs.  They started failing when we started preserving tab state.
Update the tests to expressly refresh the page.  Future improvements
might find a solution with lower overhead.

Refs #3634.

Merge branch '3775-fetch-git-repo' closes #3775

3775: Set state=Running when creating a Job in local mode.

3775: Merge branch 'master' into 3775-fetch-git-repo

Conflicts:
sdk/cli/bin/crunch-job

4042: When listing directory, return list of absolute paths

3990: set owner_uuid of a copied pipeline instance to that of the source, provided it is a project and writable by the current user.

3828: Wait for listener to start before connecting to it. Fix test
panic in listener.Close() when listener does not exist.

3828: Use defer to close pidfile. Avoids leftover pidfile if Listen fails.

3828: Remove duplicate "write pidfile" block.

arv-put parses arguments before instantiating an API client.

This helps ensure that `--help` responds quickly even if the server is
slow or down.  No issue #.

Merge branch '3634-tab-state' refs #3634

3381: Merge job_status_label and job_progress into a single job_progress
partial.  This partial renders a progress bar if the job is running, otherwise
renders a label with the job state.  The progress bar now shows only 'done'
tasks and renders the progress bar in orange if any tasks have failed.  Move
"done, failure, running, todo" from panel body to panel heading on
running_component partial.  Dashboard now uses job_progress partial with
"scaleby" to indicate pipeline progress more precisely.

closes #4046
Merge branch '4046-job-queue-position'

Merge branch 'master' into 3634-tab-state

Conflicts (resolved):
apps/workbench/app/views/application/_title_and_buttons.html.erb

Merge branch 'master' into 4046-job-queue-position

3634: add anchor to URL when switching project tabs

4046: update assert error message

Merge branch '3782-stub-io-pipe' refs #3782

Merge branch 'master' into 4046-job-queue-position

Merge branch '3825-crunch-pipe-to-arv-put-final'

Closes #3825.