3021: Merge branch 'master' into 3021-api-performance

3021: Use Marshal dump/load to save @old_attributes. Otherwise, hashes
in @old_attributes can contain references to objects that can be
mutated by callers, which could result in the new attributes being
logged incorrectly as old_attributes.

3021: Replace more "render json:..." with faster Oj.

Merge branch '4840-workbench-selections-action-forms-wip'

Closes #4840, #4996.

4840: Workbench selection actions are submitted by POST.

The previous implementation could get 414 Request URI Too Long
responses by stuffing a large number of selections into the link href.
This commit sidesteps that problem by POSTing the data with a hidden
form instead.  It's based on rails-ujs' strategy for handling links
with data-method that we were already using for some selection
actions, so it should be minimally disruptive.

4840: All Workbench selection links toggle dropdown.

4840: Restore checkbox to project Pipelines and Jobs tab.

closes #3686
Merge branch '3686-sharing-repositories'

3686: ensure Advanced is always the last pane even after adding the Sharing pane.

Merge branch 'master' into 3686-sharing-repositories

Merge branch '4922-google-api-client-force-install'

Fixes #4922.

4922: force google-api-python-client install

Install google-api-python-client with 'pip install -I' to fix the case
where the Docker image already has an older version of
google-api-python-client installed.

Update bundle. refs #3021

Merge branch '3021-workbench-perf' refs #3021

3021: Reset API fixtures before running the first test case.

3021: Do not drop/create API database at startup if run-tests.sh has done that for us.

3021: Revert "3021: Do not drop/create API database at startup: run-tests.sh does that for us."

This reverts commit 591446b97754292031a4214f08039adebd56cfe8.

3021: Merge branch 'master' into 3021-workbench-perf

3021: Do not show user notifications on error pages.

3021: Update Gemfile for Ruby SDK bugfix.

Merge branch '3835-pysdk-keep-exceptions-wip'

Closes #3835, #4972.

3021: Remove reference to deleted speclist arg.

3835: PySDK raises NotFoundError when all Keep services report such.

Previously, we raised this error when >= 75% of services reported
such, as the most reasonable available cutoff to make the
distinction.  Now that Keep exceptions include detailed information
about the error from each service, it seems useful to make this
threshold stricter, and only raise NotFoundError when we're sure
that's the problem.  See further discussion from
<https://arvados.org/issues/3835#note-11>.

3835: Improve error reporting in PySDK Keep client.

* Create a KeepRequestError base exception to store information about
  errors encountered when talking to Keep services, and include those
  in the default formatting.
* Include Keep service error information in exceptions raised by the
  Keep client.

Merge branch 'master' into 3686-sharing-repositories

Reduce file_names limit to 2^12. refs #4523.

closes #4523
Merge branch '4523-search-index'

Merge branch '4523-search-index-TC' into 4523-search-index

Conflicts:
services/api/test/integration/collections_api_test.rb

4523: Clear up manifest-signing vs. locator-signing.

4523: update signed_locator in test

Merge branch 'master' into 4523-search-index

4523: try to resolve column order by down and up migrations through VERSION=20140817035914

4523: use filters instead of where for search

4523: check for a specific file name and stream names in file_names.

Python packages use python-daemon<2.

It's good to see python-daemon under active development, but they're
working out so many little issues so rapidly that we're having a hard
time keeping on top of them in our builds.  We're pinning the version
until things settle down a little.  No issue #.

4523: update migration script to use execute instead of update_sql so that output is not printed to console.

Merge branch 'master' into 4523-search-index

closes #3756
Merge branch '3756-show-user-button'

Merge branch 'master' into 3756-show-user-button

Merge branch 'master' into 3686-sharing-repositories

3686: Support sharing pane in repository show page.
Refactor current project sharing work into application area and reuse it for sharing repositories.
Refactor methods used by tests into helper and reuse in repository sharing tests.

3021: Use Oj to encode API responses, and to decode them in tests.

* We use the Oj and multi_json gems, which makes Oj the default JSON
  parser. However, Rails' ActiveRecord::Base overrides this and uses
  the native JSON parser, which is slow. In our case we have two
  render() calls that represent nearly all cases where we ask
  ActiveRecord to serialize for us. In both cases we already have a
  hash (not a model object), and we always want JSON responses. So we
  can fix the performance problem simply by calling Oj.dump()
  ourselves, and passing the resulting JSON (instead of the hash) to
  render().

More gory details:

* "ActiveRecord::Base.extend kills JSON performance":
  https://github.com/rails/rails/issues/9212

* "when freedom patches fight, nobody wins":
  https://github.com/intridea/multi_json/pull/138#issuecomment-24468223

3021: Do not compute etag for initial model state unless/until actually needed.

Profiling shows that making a copy of the attributes hash (which
modelinstance.attributes() does) is much faster than
md5(attrs.inspect). Given that md5(attrs_when_loaded) is never needed
in the common case where a model gets loaded but never changed or
written back to the database, it's better to just stash a copy of the
attributes hash when loading, and defer computing the md5 until
it's time to write a log entry.

3021: Call Rails.application.eager_load! only once, not every single
time we use the uuid prefix cache, for two reasons:

* The reason it's here at all is to ensure that all descendant classes
  of ActiveRecord::Base have been defined, so we don't miss any model
  classes when building the uuid prefix cache. Therefore, it's more
  robust (and clearer) to call it from the function where the cache
  gets built, rather than calling it from a function that _uses_ the
  cache.

* eager_load! is (evidently) not very efficient about noticing that
  everything is already loaded: when called too often, it showed up
  prominently in profiling results.

3021: Add a performance test.

ActiveSupport doesn't seem to think its profiling code is compatible
with Ruby 2.1, but it seems to work if you patch up a version check in
activesupport:

.../activesupport-3.2.17/lib/active_support/testing/performance/ruby.rb

-if RUBY_VERSION.between?('1.9.2', '2.0.0')
+if RUBY_VERSION.between?('1.9.2', '3.0.0')

Fix crash on missing return_to param.

3021: Merge branch 'master' into 3021-workbench-perf

Merge branch '4968-refresh-project-dir' closes #4968

4523: update migrate script to use batch size and instance method on collection.

Merge branch 'master' into 4523-search-index

3021: Do not check user notifications unless they are going to be displayed.

3021: Add web-inspectable profiling mode.

* Run Workbench with environment variable ENABLE_PROFILING=yes. Timing
  figures should appear at the top left of each page. Click to get
  more detail.

* Visit {workbench-uri}?pp=flamegraph to see a profiling graph instead
  of the requested page itself.

* More: https://github.com/MiniProfiler/rack-mini-profiler

Explicitly specify ruby 2.1 in "rvm alias" no issue #

4968: Fix polling refresh on project directories

3756: do not show 'Show' button in admin user's own row.

Merge branch '4924-arv-edit-error-handling' closes #4924

4924: Collapse JSON rescue blocks to reduce duplicate code.

4924: Update prints uuid from results, not the uuid originally specified.
Catch Oj::ParseError as well as JSON::ParserError.  Titleize only HTTP status
messages, not every error message.

4924: Rename HTTPResponse to ArvadosAPIError.  Use NET::HTTP Response titles
for error codes if no other error is available.

3021: Optimize manifest parsing.

3021: Update bundle.

3021: Do not drop/create API database at startup: run-tests.sh does that for us.

3021: Fix races in performance test.

4523: revert test update now that text attributes in non-collections objects are not omitted from search index.

Merge branch 'master' into 4523-search-index

4523: include stream names in file_names

4523: exclude manifest_text from collection -> searchable_columns and leave the other text columns for other objects.

Add a magic pseudoclass to body, instead of appending a magic div. Selenium seems to like this better. refs #3021

Diagnostics really do need selenium. refs #3021

Make angular shim minify-safe. No issue #

Merge branch 'master' into 4523-search-index

4924: Distinguish between errors the user can do something about (syntax errors
or well-formed server errors) and errors that the user probably can't recover
from (everything else.)  Prints "Updated object" on success.

4523: update migration script to use sql to set file_names

3021: Fix phantomjs races by waiting for pages to appear. refs #3021

Merge branch '3408-go-sdk-api-errors' refs #3408

3408: Propagate API error messages to caller.

4523: slightly improved large description

Merge branch 'master' into 4523-search-index

4523: add a few functional tests for collections with file_names testing.

Merge branch '4312-crunch-report-sdk-version' closes #4312

4312: Remove redundant parenthesis.

4523: separate filename based tests and description based tests.

4924: Refactor arv edit and arv create to improve error handling.

* Error messages are now added in a comment block at the top of the file, and
  the file is re-opened in the user's editor.
* Does not try to update attributes that are not changed.
* Exiting the editor with the file unchanged exits the editing loop.

4312: Fix dpkg search to use dpkg-query.

4523: some more test assertions

4312: Call virtualenv pip directly instead of using activate.

4312: Use "install" phase of bootstrap script to report the installed versions
of any arvados pip or debian packages.  Like virtualenv logic, only reports for
task 0 (since every task starts the same image).

4523: exclude text type columns from searchable_columns for ilike operator

Merge branch 'master' into 4523-search-index

4523: add tests to search for file name

Merge branch '3021-more-phantomjs' refs #3021

3021: Use selenium to land on #Advanced tab.

3021: Merge branch 'master' into 3021-more-phantomjs

3021: Add random part to magic string.

Merge branch '4598-crunch-failure-stats'

Fixes #4598.

4598: actually rename this time

PEBCAK failure led to deleting the file without staging the new one. d'oh.

4598: rename script

Renamed crunch-failure-report.py to crunch_failure_report.py to permit
importing (and eventually testing).

3021: Wait for shown.bs.modal before trying to click butttons in the modal.
Remove a stray Headless.new.start.

4598: catch exceptions more aggressively when looking up pipeline names

Added exception handling for cases where:
* job is not recorded as belonging to any pipeline instance
* pipeline instance has no pipeline template

Merge branch '4570-multi-auth-method' refs #4570