3823: bug fixes for arvados-bcbio-nextgen.py

Merge branch '3663-collection-reader-performance'

Closes #3663.

Added create#ensure_unique_name to discovery document.  "Add a subproject"
button now uses "ensure_unique_name" to avoid errors when the user creates more
than one project called "New project".  refs #3822

Updated Gemfile again with published package version.  refs #3822

Merge branch '3822-ensure-unique-names' refs #3822

Conflicts:
services/api/Gemfile
services/api/Gemfile.lock

3822: Updated Gemfile

3822: Fixed use of string instead of symbol in hash, added missing list separator.

3822: Added 'ensure_unique_name' option to #create method for API server to
choose a unique name when there is a name collision in the database.
arv-run-pipeline-instance checks to see if there is an output file with the
same name and contents, and uses 'ensure_unique_name' when creating collection.

Replace all remaining references to Clinical Future with Curoverse.

no issue #

3720: Update arvados Gem versions.

Gemfiles need to be in sync with the latest commit on master.
Refs #3720.

Merge branch '3720-big-manifest-performance-wip'

Closes #3720, #3806.

3720: Limit Workbench file rendering for large Collections.

Rendering too many files can cause rendering to take too long, and
there's not much point because it can really strain browsers too.
Arbitrarily cap rendering at 10,000 files.

3720: Refactor manifest parsing from API server to Ruby SDK.

To date, the API server has been parsing manifests and returning
parsed information in the files attribute.  That's convenient, but
causes performance problems in large Collections.  Profiling indicates
that most of the API server's response time is spent in the
as_api_response method; rendering the same information twice really
hurts.

This commits removes the API server's need to always parse manifests,
and moves the parsing code to the Ruby SDK.  Both the API server and
Workbench use this Gem to parse manifests on an as-needed basis.
This, combined with improvements to the new Keep::Manifest class, lays
the groundwork for future performance gains.

3720: arvados-cli Gemfile refers to gemspec.

This change helps avoid loops where you have to have arvados-cli
installed to build arvados-cli.

3720: Clean up+skip Ruby SDK tests.

First I changed these to get them passing again.  With that done, I
added the skip.  We're not currently running these tests, and getting
them going the right way again (e.g., with run_test_server.py or
mocks) is out of scope for my current task.

Merge branch '3710-combine-selections-bug' refs #3710

3710: Refactored code to reduce redundancy.  Use select() to get the manifest
text instead of reloading each object for performance.

Remove name and description columns on jobs table introduced accidentally
(refs #3036).  Fixed workbench so tests pass.

3710: handle the scenario where files from named collections are selected

3704: Treat project filters consistently in Workbench chooser.

Before this, a chooser that was loaded on a specific project would
return empty results if the user selected a different project.  This
is because it would search for items with two different owner_uuids,
both the project selected at load time, and the project the user
selected later.  This patch fixes that by separating the project
filter from other filters, and preseeding it in the same place where
it's updated by the project selection AJAX.  Closes #3704, #3778.

3663: update test_file_reader unit test

Because StreamFileReader.read() calls are now aligned on block
boundaries, the unit test needs to take that into account when testing
the results of individual reads.

3710: update the combine_selected_files_into_collection method to also handle the scenarios where a collection uuid or "collection uuid/filename" is passed.

3663: StreamFileReader.read() returns just one chunk

The StreamFileReader read() call reads just a single chunk from the
input stream on each call, instead of reading as many bytes as possible.

Revert 2 hunks from a5819ec1e48fba90658fcf676ffc50c1f216d484, thus
un-breaking crunch-job in two important ways:

* task stdout and stderr are propagated again

* tasks can actually run because crunch-src is available in the docker
  container again

no issue #

closes #3637
Merge branch '3637-copy-selections'

3637: add one more test that verifies that the copy action is disabled when a subproject under a project is selected.

Merge branch 'master' into 3637-copy-selections

3637: remove unwanted tab chars

3637: add integration tests for "copy", "move", and "remove" operations from the project selection dropdown.

Add name and description columns back in for jobs.  refs #3036

Delete names and description columns from jobs that shouldn't be there.  Delete
jobs_owner_uuid_name_unique and pipeline_instance_owner_uuid_name_unique
indexes added by mistake.  refs #3036.

3637: copy selected items

Merge branch 'master' into 3637-copy-selections

Conflicts:
apps/workbench/app/views/application/_choose.js.erb
apps/workbench/config/routes.rb

3637: undo some of the changes to absorb Tom's updates to chooser implementation

Do not blow up when running jobs in local mode.

This bug was introduced in a5819ec1e48fba90658fcf676ffc50c1f216d484

no issue #

refs #3637 - merge Tom's updates to chooser implementation, where selected items are passed as parameters.
Merge branch '3637-selection-through-chooser'

Merge branch '3704-broken-filters-param'

Unfortunately, this does not completely fix the bug, but at least it's
an improvement.  See refs #3704 for more discussion.  Closes #3777.

crunchstat: fix typos in comments and help/error text.

no issue #

Do not blow up when arv is called with an unrecognized argument.

Calling option_parser.educate suffices, no need for a call to
Trollop::die that fails and throws a stacktrace.

no issue #

3637: Propagate checkbox selection through chooser modal, remove session hack.

3637: Operate only on selections within this container, even if clippy has more.

3704: Force params[:filters] into native format so views and helpers can use it.

Merge branch '3763-move-collections-error' closes #3763

3763: Workbench will not send attributes to API server that are nil and not
changed.

closes #3714
Merge branch '3714-report-issue-issues'

Merge branch 'master' into 3714-report-issue-issues

3637: fix test now that "Copy selections" and "Move selections" options are no longer available in clippy.

3637: remove "Copy selections" and "Move selections" options from clippy in topnav.

Merge branch 'master' into 3637-copy-selections

3714: minor updates from review feedback

Merge branch 'master' into 3714-report-issue-issues

3637: refactor code for better maintenance.

Fix arv-put tests refs #3709

Merge branch 'master' into 3637-copy-selections

3637: add copy selected items functionality to project selection dropdown.

Merge branch '3719-improve-subst-error-reporting' closes #3719

3719: Python style/wording fixes.

Merge branch '3709-arv-put-print-uuid' closes #3709

Fix nil dereference causing a fiddlesticks on the collections index page.  no issue #

Merge branch 'master' into 3709-arv-put-print-uuid

Complain and fail if exec() returns. No issue #

Pass stdin to child process. closes #3751

3709: arv-put now prints collection uuid by default.  Add --portable-data-hash
to arv-put to get the old behavior (print PDH).  Crunch-job uses arv-put
--portable-data-hash to get the PDH to put in the log field.  Crunch-job logs
both PDH and collection UUID.

Run given command even if src tree already installed. No issue #

3719: Robust-put uses run-command logger.

3719: run-command uses its own logger instead of the default Python logger to
avoid cross talk with badly behaved modules.

closes #3339
Merge branch '3339-truncate-project-descriptions'

3339: fix typo in test

Merge branch 'master' into 3339-truncate-project-descriptions

Remove assertion testing for obsolete output_is_persistent field.  refs #3342

Merge branch 'master' into 3339-truncate-project-descriptions

3719: Raise more specific SubstitutionError instead of generic exception on
user syntax errors.  Don't print stack trace on SubstitutionError.

3714: update tests to verify that the send report button is disabled until problem description is entered.

Merge branch 'master' into 3714-report-issue-issues

Set Gemfile version target for arvados-cli to correct version.  refs #3342

3339: some refactoring of the render textile impl. improve the test that verifies project description.

Revert arvados gems to versions that actually exist. refs #3342

3714: disable submit button until problem description is entered.

Merge branch '3342-pipeline-output-current-project' closes #3342

3342: Fix syntax error in pipeline_instance.rb.  Restore code in crunch-job
that reads manifest text from arv-get pipe.

Merge branch '3414-keep-pull-handler'

Closes #3414.

3414: fix log typo

%s -> %v

3342: Handle case in PipelineInstance#friendly_link_name where
pipeline_template_uuid doesn't return a PipelineTemplate.  Removed unnecessary
code from crunch-job to calculate md5 hash of manifest_text (API server doesn't
require md5 hash to be provided with collection creation any more.)

3339: update test to verify textile description in my projects panel in dashboard.

3339: render truncated textile descriptions in dashboard

3414: update comment for code review

3342: Update documentation.  Add "output_name", remove "output_is_persistent".

3342: Tweak pipeline component status rendering.  Support "output_name":false
to specify no output should be added to the current project.

3342: Fix links to log files to use portable_data_hash.  Remove spurious puts.
Improve error logging.

3414: rename replicator to pull_list

Renamed replicator.Replicator to pull_list.Manager.

3414: update for code review

Added logging for pull lists.  Unsuccessful pull lists are logged with
an error, successful ones are logged with the new pull list.

Renamed the Replicator interface with GetList and SetList.

Merge branch '3354-render-textile' closes #3354

3354: Merge branch 'master' into 3354-render-textile

Conflicts:
apps/workbench/app/assets/stylesheets/application.css.scss
apps/workbench/app/helpers/application_helper.rb
apps/workbench/app/models/group.rb

Fix label for API endpoint. Re-order fields. refs #3112

Ensure source_version is a string, even when it consists entirely of decimal digits. refs #3112

Run the task setup script inside the container (if any), instead of
running setup on the host, using bind-mount for CRUNCH_SRC, and
assuming other directories have already been set up in the docker
image.

No issue #

Merge branch '3627-selectable-projects' closes #3627

3342: Fixing outputs

3342: Removing remaining traces of output_is_persistent.  Added code in
arv-run-pipeline-instance to create collections owned by appropriate project.

refs #3620
Merge branch '3620-admin-only-gear-menu'