3699: back out attempts to change tempfile.tempdir

Too many error conditions -- if the disk is full, have the user change
it manually with TMPDIR=/scratch

3699: typo fix

3699: use /scratch instead of /tmp for git copies

3699: ensure unique names for new pipelines

Merge branch 'master' into 3699-arv-copy

3699: delete pi['uuid'] before committing

3699: copy_pipeline_template requires dst_git_repo

3699: allow pipeline instances without templates

3699: fix inconsistent function parameters

All copy methods/functions now start with (object_to_copy, src_client,
dst_client).

3699: bug fix (return value for copy_git_repo)

3699: use a consistent destination branch for copy_git_repo

copy_git_repo copies commits from the source repository to a branch in
the destination named for the source repository URL. Thus, if the same
source repository is copied several times to the same destination, it
will not add redundant branches.

3699: fix copy_git_repo

Need to specify destination branch explicitly when pushing.

3699: bug fixes

3699: bug fixes and feedback

* added 'arv copy' front end to sdk/cli/bin/arv
* can supply --recursive for pipeline templates as well as pipeline
  instance
* collections and git repositories are now properly renamed in the
  pipeline template and instance when copying recursively
* copy_collection skips copying blocks if the collection already exists
  at the destination

Prevent PySDK CollectionReader from sending UUIDs to Keep.

No issue #.  I tickled this while I was working on #3147.  Ward saw
the apparent symptom come up in a Job log, so I'm pushing the fix at
his request.  I have a test prepared in my branch, along with a bunch
of test infrastructure.

3846: Improve timeout handling in PySDK KeepClient.

* Catch socket errors (including timeouts) and treat them as
  transient with regard to retry logic.
* Increase the default timeout to 5 minutes.  Given how long it can
  take to PUT 64MiB to a proxy and wait for two servers to return
  success, this seems like a reasonable default.  Future improvements
  could set different timeouts based on the request type and whether
  or not we're talking to a proxy.

Closes #3846.

3842: Keep::Manifest concatenates file information from manifest.

The previous implementation failed to consider the possibility that
file information would be spread across multiple lines of a manifest.
This would cause, e.g., the same file to be yielded many times from
each_file.

This requirement makes it impossible to return file size information
without parsing the entire manifest.  Because of that, I have reworked
the Ruby SDK API so that method names are more consistent with their
performance characteristics.  I have also added some methods to do
some basic file existence checking that do not require parsing the
whole manifest.

Closes #3842.  Refs #3720.

3699: add support for --recursive and --project_uuid

#3830: Make crunch-job's git calls more robust.

* Check git's exit status and only continue on 0.
* Log git's exit status after optional calls.
* Always log the resolved commit hash when it's found.

Hopefully this will prevent a recurrence of refs #3830, or help rule
out some possibilities if it does happen.  Tested by hand on 4xphq.

3699: rename repositories in copied pipeline instance

3699: typo fix

3699: add copy_git_repo step to copy_pipeline_instance

Merge branch '3453-arv-list-docker-images' closes #3453, #3472, refs #3125

3453: Rename check_project_exists to desired_project_uuid.  Now raises and
catches distinct apiclient.errors.Error, ValueError errors for project not
found or invalid uuid.

3699: fix bugs

Merge branch '3586-job-priority' closes #3586

Merge branch 'master' into 3586-job-priority closes #3586

Merge branch '3644-arv-mount-projects' closes #3644

3453: Refactored arv-put to remove support for name links, correctly use
ensure_name_unique to prevent name collisions.  arv-keepdocker should now
correctly handle cases where the user provides a image hash instead of
repository/tag. Fixed tests.

3699: define copy_git_repo

3644: Update tests broken by merge

3823: bug fixes for arvados-bcbio-nextgen.py

Refs #3823

3644: Moved some common regex patterns into SDK

Merge branch 'master' into 3644-arv-mount-projects

3644: Restore 'tag' tests and add 'SharedDirectory' and 'HomeDirectory' tests.
All tests should pass now.

Merge branch '3663-collection-reader-performance'

Closes #3663.

3699: skip components which have not yet run

3699: test storing the empty collection (edge case)

3453: Add ensure_unique_name=True to collection create.

Merge branch 'master' into 3453-arv-list-docker-images

Added create#ensure_unique_name to discovery document.  "Add a subproject"
button now uses "ensure_unique_name" to avoid errors when the user creates more
than one project called "New project".  refs #3822

3453: Create links and collection objects in the specified project, even if
the docker image has already been uploaded to some other project.

Updated Gemfile again with published package version.  refs #3822

Merge branch '3822-ensure-unique-names' refs #3822

Conflicts:
services/api/Gemfile
services/api/Gemfile.lock

3822: Updated Gemfile

3822: Fixed use of string instead of symbol in hash, added missing list separator.

3822: Added 'ensure_unique_name' option to #create method for API server to
choose a unique name when there is a name collision in the database.
arv-run-pipeline-instance checks to see if there is an output file with the
same name and contents, and uses 'ensure_unique_name' when creating collection.

3699: bug fixes

Replace all remaining references to Clinical Future with Curoverse.

no issue #

3720: Update arvados Gem versions.

Gemfiles need to be in sync with the latest commit on master.
Refs #3720.

3644: minor control block indentation fix.

3644: Changed so ctime == mtime because ctime is not creation time (arg!).
Added atime.  Tweaked timestamps behavior be a bit more useful.

Merge branch '3720-big-manifest-performance-wip'

Closes #3720, #3806.

3720: Limit Workbench file rendering for large Collections.

Rendering too many files can cause rendering to take too long, and
there's not much point because it can really strain browsers too.
Arbitrarily cap rendering at 10,000 files.

3720: Refactor manifest parsing from API server to Ruby SDK.

To date, the API server has been parsing manifests and returning
parsed information in the files attribute.  That's convenient, but
causes performance problems in large Collections.  Profiling indicates
that most of the API server's response time is spent in the
as_api_response method; rendering the same information twice really
hurts.

This commits removes the API server's need to always parse manifests,
and moves the parsing code to the Ruby SDK.  Both the API server and
Workbench use this Gem to parse manifests on an as-needed basis.
This, combined with improvements to the new Keep::Manifest class, lays
the groundwork for future performance gains.

3720: arvados-cli Gemfile refers to gemspec.

This change helps avoid loops where you have to have arvados-cli
installed to build arvados-cli.

3720: Clean up+skip Ruby SDK tests.

First I changed these to get them passing again.  With that done, I
added the skip.  We're not currently running these tests, and getting
them going the right way again (e.g., with run_test_server.py or
mocks) is out of scope for my current task.

3699: accept collection hash as uuid

3453: Now lists images by default if called with no parameters.  Fixed reported
timestamps on images without a 'timestamp' property.  Added 'Docker image'
prefix to default name.  Renamed variables in list_images_in_arv() to be more
friendly.

3699: add arv-copy to list of installed scripts

Merge branch '3710-combine-selections-bug' refs #3710

3710: Refactored code to reduce redundancy.  Use select() to get the manifest
text instead of reloading each object for performance.

3644: fuse_arvados test pass.

Remove name and description columns on jobs table introduced accidentally
(refs #3036).  Fixed workbench so tests pass.

3710: handle the scenario where files from named collections are selected

3704: Treat project filters consistently in Workbench chooser.

Before this, a chooser that was loaded on a specific project would
return empty results if the user selected a different project.  This
is because it would search for items with two different owner_uuids,
both the project selected at load time, and the project the user
selected later.  This patch fixes that by separating the project
filter from other filters, and preseeding it in the same place where
it's updated by the project selection AJAX.  Closes #3704, #3778.

3663: update test_file_reader unit test

Because StreamFileReader.read() calls are now aligned on block
boundaries, the unit test needs to take that into account when testing
the results of individual reads.

3644: Add --by-id to invocation of arv-mount in crunch-job to get the same
behavior as before.

3644: Added choose-your-own-adventure README files to the --all and --by-id
directories.  Regular expressions are now compiled once at the top for
efficiency and readability.

3710: update the combine_selected_files_into_collection method to also handle the scenarios where a collection uuid or "collection uuid/filename" is passed.

3663: StreamFileReader.read() returns just one chunk

The StreamFileReader read() call reads just a single chunk from the
input stream on each call, instead of reading as many bytes as possible.

3644: Change metafiles to .arvados#collection and .arvados#project.  Change
--by-hash to be --by-id since it works with both uuids and portable data
hashes.

Revert 2 hunks from a5819ec1e48fba90658fcf676ffc50c1f216d484, thus
un-breaking crunch-job in two important ways:

* task stdout and stderr are propagated again

* tasks can actually run because crunch-src is available in the docker
  container again

no issue #

3699: copy docker images

A Docker image dependency is specified, for each component c in
pipeline_instance['components'], as c['job']['docker_image_locator'].
This field is a collection hash for a collection that holds a Docker
image file.

copy_pipeline_instance copies the collections found in these fields as
well as the input collection dependencies found in c['job']['dependencies'].

3644: Add threadsafe arvados api access.  arv-mount now releases llfuse global
lock when performing network requests.

3644: Tweak CollectionReader manifest text regular expression to use multiline
match.

3699: added copy_pipeline_instance

Added copy_pipeline_instance, integrating copy_collection and
copy_pipeline_template.  Added comments.

3644: Tested, fixed various mount modes.

3644: Default mount mode now includes home, shared, by_hash, and by_tag.

3644: Re-added support for files with json contents of arvados objects.
Changed block size reported by getattr() use 512 byte blocks which is seems to
be necessary to get 'du' to compute the right results.

3699: arv-copy supports collections

arv-copy can be passed a collection UUID. copy_collection(uuid) copies
each block in the collection from the source Arvados to the destination,
copies the manifest and then writes a collection record.

closes #3637
Merge branch '3637-copy-selections'

3637: add one more test that verifies that the copy action is disabled when a subproject under a project is selected.

3644: Collections work again, added .portable_data_hash and .manifest_text
virtual files to detect if a directory is a collection.

3644: HomeDirectory and ProjectDirectories work, added filename sanitization.

3644: Shared project list almost works, still debugging.

Merge branch 'master' into 3637-copy-selections

3637: remove unwanted tab chars

3637: add integration tests for "copy", "move", and "remove" operations from the project selection dropdown.

Add name and description columns back in for jobs.  refs #3036

Merge branch 'master' into 3586-job-priority

Conflicts:
services/api/db/structure.sql

Delete names and description columns from jobs that shouldn't be there.  Delete
jobs_owner_uuid_name_unique and pipeline_instance_owner_uuid_name_unique
indexes added by mistake.  refs #3036.

3637: copy selected items

3453: Add support for --images to get a list of available images.  Add support
for --project-uuid to place the image and tags in the specified project.  Set a
more useful name for the collection containing the image.

Merge branch 'master' into 3637-copy-selections

Conflicts:
apps/workbench/app/views/application/_choose.js.erb
apps/workbench/config/routes.rb

3637: undo some of the changes to absorb Tom's updates to chooser implementation

Do not blow up when running jobs in local mode.

This bug was introduced in a5819ec1e48fba90658fcf676ffc50c1f216d484

no issue #

refs #3637 - merge Tom's updates to chooser implementation, where selected items are passed as parameters.
Merge branch '3637-selection-through-chooser'

3699: support pipeline templates

arv-copy can work on pipeline templates.

3644: build_project_trees method ported from workbench, needs testing