5074: Fixup Ruby SDK discovery cache warnings.

5074: CLI SDK uses Google API client extensions from Ruby SDK.

5074: Improve discovery document caching in Ruby SDK.

* Report a warning if there's an error reading or parsing a cached
  discovery document.
* Cache discovery documents to a tempfile and rename, to reduce the
  chances that we'll write corrupted caches due to I/O errors.
* Make this extension a separate module that can be loaded by users
  like the CLI SDK.
* Tighten exception handling throughout.

refs #4523
Merge branch '4523-search-index'

4523: a little bit simpler script

Merge branch 'master' into 4523-search-index

Merge branch '5087-fix-crunch-sigpipe-wip'

Closes #5087, #5089.

5087: crunch-job installer feeds tar incrementally.

When the input we give to tar is large enough (greater than 4-5MiB),
writing it all in one shot causes tar to die, and crunch-job to get
SIGPIPE.  Prevent this by feeding the input to tar in a series of
smaller writes.

Wording tweaks for doc.arvados.org.

No issue #

Merge branch '4340-arv-ws-fix-ssl-warning'

Closes #4340

Merge branch 'master' into 4340-arv-ws-fix-ssl-warning

A few tweaks based on review feedback.

refs #4340

Merge branch '5010-trash-button-for-collections'

Fixes #5010.

5010: fixed integration test

Fixed a failing integration test that checked for the presence of a
collection in the Home project after being deleted.  Removed the
assertion that checked the Home project post-deletion.

arv-ws should prefer system's CA certificates (if available).

closes #4340

Merge branch '0000-workbench-user-profile-wording-changes'

No issue #

Merge branch 'master' into 0000-workbench-user-profile-wording-changes

refs #4926 Merge branch '4926-getting-started'

more typos

minor typos

5010: updated functional tests for new trash behavior

Renamed "project admin can remove items from the project" to "project
admin can remove collections from the project" and updated it to verify
that the target collection has actually been made inaccessible to API
queries.

Added "project admin can remove items from project other than
collections" test to verify that objects which don't support expires_at
continue to exhibit the old behavior.

Merge branch '4889-crunch-deadlock'

Fixes #4889.

4889: improve error message, unit test

Per review in #4889-17:

Updated the CopyPipeToChan error message to be more descriptive, for the
benefit of anyone reading log output.

Corrected the test to confirm that the error message is received even if
the child process does not close the stderr log (which matches the usage
patterns in production).

Merge branch 'master' into 0000-workbench-user-profile-wording-changes

4926: typos & rewording

4889: added CopyPipeToChan unit test

Added TestCopyPipeToChanLongLines test to confirm that when
CopyPipeToChan attempts to read a line too long for bufio.Scanner, that
it generates an error message on the output channel.

Merge branch 'master' into 4523-search-index

4523: add a new migration script that invokes search_index migration down and up methods when a search_index with description is found (due to an earlier migration of search_index with descriptions).

refs #4523
Merge branch '4523-search-index'

4523: do not include descriptions in search index and update tests accordingly.

5010: remove_items sets the expired_at date if available

On objects which support expired_at, remove_items will set that date
rather than moving them out of the current project.

4889: close the child stderr pipe before returning

Updated CopyPipeToChan to close the child's stderr pipe before
returning, so that even if it returns for some reason other than
EOF (e.g. line too long) the child will not deadlock on writing stderr
output.

Merge branch '3021-api-performance' refs #3021

4967: Fix API server Gemfile.

I'm kind of at a loss to explain what happened here.  Refs #4967.

4967: API server bundle uses bugfixed crunch-job.

Refs #4967, #4970.

Merge branch '4967-crunch-mount-cleanup-wip'

Closes #4967, #4970, #5039.

4967: crunch-job unmounts old Keep mounts more robustly.

The previous version looked for mounts under $JOB_WORK before
unmounting anything.  We long ago started mounting under $TASK_WORK,
so unmounting hasn't been working for a while.  This version unmounts
every FUSE mount with "keep" in the path, so it will be much more
flexible.

I also changed the cleanup to use bash -e, so the logs are more likely
to indicate if there was trouble during the cleanup step.

4926: Added 'getting started' section with three image galleries.

Merge branch '5016-ctrl-c-arv-ws' closes #5016

5029: API server uses bugfixed crunch-job.

Refs #5029.

5029: Fix crunch-job logging when SDK requested+virtualenv unavailable.

* Properly concatenate the message.

* Query and log installed SDK packages in this scenario, since we
  might fall back to what's available in the Docker image.

Closes #5029.

refs #4926
Merge branch '4926-browser-based-upload'

4926: move tutorial_expectations into sections that are describing command line tools.

Merge branch '4838-fuse-executable-files' closes #4838

4838: Set +x on all StreamReaderFiles

3021: Merge branch 'master' into 3021-api-performance

3021: Use Marshal dump/load to save @old_attributes. Otherwise, hashes
in @old_attributes can contain references to objects that can be
mutated by callers, which could result in the new attributes being
logged incorrectly as old_attributes.

3021: Replace more "render json:..." with faster Oj.

4926: add description with section links

Merge branch '4840-workbench-selections-action-forms-wip'

Closes #4840, #4996.

4840: Workbench selection actions are submitted by POST.

The previous implementation could get 414 Request URI Too Long
responses by stuffing a large number of selections into the link href.
This commit sidesteps that problem by POSTing the data with a hidden
form instead.  It's based on rails-ujs' strategy for handling links
with data-method that we were already using for some selection
actions, so it should be minimally disruptive.

4840: All Workbench selection links toggle dropdown.

4840: Restore checkbox to project Pipelines and Jobs tab.

Merge branch 'master' into 4926-browser-based-upload

5016: PollClient.run_forever() polls self.stop() in order to have a chance to process KeyboardInterrupt.

closes #3686
Merge branch '3686-sharing-repositories'

3686: ensure Advanced is always the last pane even after adding the Sharing pane.

Merge branch 'master' into 3686-sharing-repositories

Merge branch '4922-google-api-client-force-install'

Fixes #4922.

4922: force google-api-python-client install

Install google-api-python-client with 'pip install -I' to fix the case
where the Docker image already has an older version of
google-api-python-client installed.

Update bundle. refs #3021

Merge branch '3021-workbench-perf' refs #3021

3021: Reset API fixtures before running the first test case.

3021: Do not drop/create API database at startup if run-tests.sh has done that for us.

3021: Revert "3021: Do not drop/create API database at startup: run-tests.sh does that for us."

This reverts commit 591446b97754292031a4214f08039adebd56cfe8.

3021: Merge branch 'master' into 3021-workbench-perf

3021: Do not show user notifications on error pages.

3021: Update Gemfile for Ruby SDK bugfix.

Merge branch '3835-pysdk-keep-exceptions-wip'

Closes #3835, #4972.

3021: Remove reference to deleted speclist arg.

3835: PySDK raises NotFoundError when all Keep services report such.

Previously, we raised this error when >= 75% of services reported
such, as the most reasonable available cutoff to make the
distinction.  Now that Keep exceptions include detailed information
about the error from each service, it seems useful to make this
threshold stricter, and only raise NotFoundError when we're sure
that's the problem.  See further discussion from
<https://arvados.org/issues/3835#note-11>.

3835: Improve error reporting in PySDK Keep client.

* Create a KeepRequestError base exception to store information about
  errors encountered when talking to Keep services, and include those
  in the default formatting.
* Include Keep service error information in exceptions raised by the
  Keep client.

Merge branch 'master' into 3686-sharing-repositories

4926: trailing white space

Merge branch 'master' into 4926-browser-based-upload

4926: minor text update

Reduce file_names limit to 2^12. refs #4523.

4926: improved image quality

Merge branch 'master' into 4926-browser-based-upload

closes #4523
Merge branch '4523-search-index'

4926: download images

4926: expand downloading data section

Merge branch '4523-search-index-TC' into 4523-search-index

Conflicts:
services/api/test/integration/collections_api_test.rb

4523: Clear up manifest-signing vs. locator-signing.

4523: update signed_locator in test

Merge branch 'master' into 4926-browser-based-upload

Merge branch 'master' into 4523-search-index

4523: try to resolve column order by down and up migrations through VERSION=20140817035914

4523: use filters instead of where for search

4523: check for a specific file name and stream names in file_names.

Python packages use python-daemon<2.

It's good to see python-daemon under active development, but they're
working out so many little issues so rapidly that we're having a hard
time keeping on top of them in our builds.  We're pinning the version
until things settle down a little.  No issue #.

4523: update migration script to use execute instead of update_sql so that output is not printed to console.

Merge branch 'master' into 4523-search-index

closes #3756
Merge branch '3756-show-user-button'

Merge branch 'master' into 3756-show-user-button

Merge branch 'master' into 3686-sharing-repositories

3686: Support sharing pane in repository show page.
Refactor current project sharing work into application area and reuse it for sharing repositories.
Refactor methods used by tests into helper and reuse in repository sharing tests.

3021: Use Oj to encode API responses, and to decode them in tests.

* We use the Oj and multi_json gems, which makes Oj the default JSON
  parser. However, Rails' ActiveRecord::Base overrides this and uses
  the native JSON parser, which is slow. In our case we have two
  render() calls that represent nearly all cases where we ask
  ActiveRecord to serialize for us. In both cases we already have a
  hash (not a model object), and we always want JSON responses. So we
  can fix the performance problem simply by calling Oj.dump()
  ourselves, and passing the resulting JSON (instead of the hash) to
  render().

More gory details:

* "ActiveRecord::Base.extend kills JSON performance":
  https://github.com/rails/rails/issues/9212

* "when freedom patches fight, nobody wins":
  https://github.com/intridea/multi_json/pull/138#issuecomment-24468223

3021: Do not compute etag for initial model state unless/until actually needed.

Profiling shows that making a copy of the attributes hash (which
modelinstance.attributes() does) is much faster than
md5(attrs.inspect). Given that md5(attrs_when_loaded) is never needed
in the common case where a model gets loaded but never changed or
written back to the database, it's better to just stash a copy of the
attributes hash when loading, and defer computing the md5 until
it's time to write a log entry.

3021: Call Rails.application.eager_load! only once, not every single
time we use the uuid prefix cache, for two reasons:

* The reason it's here at all is to ensure that all descendant classes
  of ActiveRecord::Base have been defined, so we don't miss any model
  classes when building the uuid prefix cache. Therefore, it's more
  robust (and clearer) to call it from the function where the cache
  gets built, rather than calling it from a function that _uses_ the
  cache.

* eager_load! is (evidently) not very efficient about noticing that
  everything is already loaded: when called too often, it showed up
  prominently in profiling results.