Merge branch '3021-workbench-perf' refs #3021

3021: Reset API fixtures before running the first test case.

3021: Do not drop/create API database at startup if run-tests.sh has done that for us.

3021: Revert "3021: Do not drop/create API database at startup: run-tests.sh does that for us."

This reverts commit 591446b97754292031a4214f08039adebd56cfe8.

3021: Merge branch 'master' into 3021-workbench-perf

3021: Do not show user notifications on error pages.

3021: Update Gemfile for Ruby SDK bugfix.

Merge branch '3835-pysdk-keep-exceptions-wip'

Closes #3835, #4972.

3021: Remove reference to deleted speclist arg.

3835: PySDK raises NotFoundError when all Keep services report such.

Previously, we raised this error when >= 75% of services reported
such, as the most reasonable available cutoff to make the
distinction.  Now that Keep exceptions include detailed information
about the error from each service, it seems useful to make this
threshold stricter, and only raise NotFoundError when we're sure
that's the problem.  See further discussion from
<https://arvados.org/issues/3835#note-11>.

3835: Improve error reporting in PySDK Keep client.

* Create a KeepRequestError base exception to store information about
  errors encountered when talking to Keep services, and include those
  in the default formatting.
* Include Keep service error information in exceptions raised by the
  Keep client.

Reduce file_names limit to 2^12. refs #4523.

closes #4523
Merge branch '4523-search-index'

Merge branch '4523-search-index-TC' into 4523-search-index

Conflicts:
services/api/test/integration/collections_api_test.rb

4523: Clear up manifest-signing vs. locator-signing.

4523: update signed_locator in test

Merge branch 'master' into 4523-search-index

4523: try to resolve column order by down and up migrations through VERSION=20140817035914

4523: use filters instead of where for search

4523: check for a specific file name and stream names in file_names.

Python packages use python-daemon<2.

It's good to see python-daemon under active development, but they're
working out so many little issues so rapidly that we're having a hard
time keeping on top of them in our builds.  We're pinning the version
until things settle down a little.  No issue #.

4523: update migration script to use execute instead of update_sql so that output is not printed to console.

Merge branch 'master' into 4523-search-index

closes #3756
Merge branch '3756-show-user-button'

Merge branch 'master' into 3756-show-user-button

3021: Merge branch 'master' into 3021-workbench-perf

Merge branch '4968-refresh-project-dir' closes #4968

4523: update migrate script to use batch size and instance method on collection.

Merge branch 'master' into 4523-search-index

3021: Do not check user notifications unless they are going to be displayed.

3021: Add web-inspectable profiling mode.

* Run Workbench with environment variable ENABLE_PROFILING=yes. Timing
  figures should appear at the top left of each page. Click to get
  more detail.

* Visit {workbench-uri}?pp=flamegraph to see a profiling graph instead
  of the requested page itself.

* More: https://github.com/MiniProfiler/rack-mini-profiler

Explicitly specify ruby 2.1 in "rvm alias" no issue #

4968: Fix polling refresh on project directories

3756: do not show 'Show' button in admin user's own row.

Merge branch '4924-arv-edit-error-handling' closes #4924

4924: Collapse JSON rescue blocks to reduce duplicate code.

4924: Update prints uuid from results, not the uuid originally specified.
Catch Oj::ParseError as well as JSON::ParserError.  Titleize only HTTP status
messages, not every error message.

4924: Rename HTTPResponse to ArvadosAPIError.  Use NET::HTTP Response titles
for error codes if no other error is available.

3021: Optimize manifest parsing.

3021: Update bundle.

3021: Do not drop/create API database at startup: run-tests.sh does that for us.

3021: Fix races in performance test.

4523: revert test update now that text attributes in non-collections objects are not omitted from search index.

Merge branch 'master' into 4523-search-index

4523: include stream names in file_names

4523: exclude manifest_text from collection -> searchable_columns and leave the other text columns for other objects.

Add a magic pseudoclass to body, instead of appending a magic div. Selenium seems to like this better. refs #3021

Diagnostics really do need selenium. refs #3021

Make angular shim minify-safe. No issue #

Merge branch 'master' into 4523-search-index

4924: Distinguish between errors the user can do something about (syntax errors
or well-formed server errors) and errors that the user probably can't recover
from (everything else.)  Prints "Updated object" on success.

4523: update migration script to use sql to set file_names

3021: Fix phantomjs races by waiting for pages to appear. refs #3021

Merge branch '3408-go-sdk-api-errors' refs #3408

3408: Propagate API error messages to caller.

4523: slightly improved large description

Merge branch 'master' into 4523-search-index

4523: add a few functional tests for collections with file_names testing.

Merge branch '4312-crunch-report-sdk-version' closes #4312

4312: Remove redundant parenthesis.

4523: separate filename based tests and description based tests.

4924: Refactor arv edit and arv create to improve error handling.

* Error messages are now added in a comment block at the top of the file, and
  the file is re-opened in the user's editor.
* Does not try to update attributes that are not changed.
* Exiting the editor with the file unchanged exits the editing loop.

4312: Fix dpkg search to use dpkg-query.

4523: some more test assertions

4312: Call virtualenv pip directly instead of using activate.

4312: Use "install" phase of bootstrap script to report the installed versions
of any arvados pip or debian packages.  Like virtualenv logic, only reports for
task 0 (since every task starts the same image).

4523: exclude text type columns from searchable_columns for ilike operator

Merge branch 'master' into 4523-search-index

4523: add tests to search for file name

Merge branch '3021-more-phantomjs' refs #3021

3021: Use selenium to land on #Advanced tab.

3021: Merge branch 'master' into 3021-more-phantomjs

3021: Add random part to magic string.

Merge branch '4598-crunch-failure-stats'

Fixes #4598.

4598: actually rename this time

PEBCAK failure led to deleting the file without staging the new one. d'oh.

4598: rename script

Renamed crunch-failure-report.py to crunch_failure_report.py to permit
importing (and eventually testing).

3021: Wait for shown.bs.modal before trying to click butttons in the modal.
Remove a stray Headless.new.start.

4598: catch exceptions more aggressively when looking up pipeline names

Added exception handling for cases where:
* job is not recorded as belonging to any pipeline instance
* pipeline instance has no pipeline template

Merge branch '4570-multi-auth-method' refs #4570

3021: Fix assertion broken in 9c10212.

4570: Fix tabs, CSS on log in button.

3021: Wait for dialog to close before asserting page transition.

Merge branch '4836-first-tab-load-wip'

Closes #4836, #4870.

4836: Trigger Workbench infinite scroll load on tab show.

If an infinite scroller is in the first tab of a show page, but the
user is going to a different tab, we'll queue up the first event
to load data for the container, but when it fires the container won't
be visible so it will decline to load anything.  Then you can only get
data to load if you resize the window.

Fire a scroll event when a new tab is shown, to spur the infinite
scroller to load data as appropriate.

4598: account for queued and cancelled jobs, fix sorting

Per code review:
* Updated report to include job states "Cancelled" and "Queued" as well
  as Failed, Running and Complete, and to take these into account when
  calculating job counts.
* Fixed sorting for failure classes.

4523: Add test to create collection with large manifest text. This test showed that the max size
the file_names column can have for successful search indexing is 2^13. Hence, setting the column
size to 2^12, so that there is enough room to accommodate slightly larger values for other columns.

4523: extract unique file names from manifest text and set as file_names attribute during save.

Merge branch 'master' into 4570-multi-auth-method

4570: Revert to links on log in page instead of form.  Fixup documentation to
to describe a production setup.

3021: Use headless helper in performance and diagnostics tests, too.

3021: 4399: Refactor headless stuff into a module. Clear up new/start/stop use.

* Create one Headless per test process, when encountering the first
  test case that needs one.

* Call headless.start & stop exactly once for each test case that uses
  it.

4523: update the collection file_names migration script to set the file_names during migration.

4523: add file_names searchable column to collections data model.

4523: set description size back to 2**19

4523: set description size to 2**17, which seems to be the upper limit for indexing.

4523: Come back down to earth enough to make tests pass.

4523: Restore indexes accidentally deleted from structure.sql.

4598: formatting and calculation fixes (code review)

Incorporating code review feedback from #4598-13.

Bugs fixed:
* Correct counting and percentage calculation of job failures.
** Jobs were getting categorized as both "unknown" and as a specific failure type.
* Crashes fixed: should not raise any unhandled exceptions.

Formatting fixes:
* Itemized failures are now sorted in descending order by failure type
* Better horizontal alignment
* Modified formatting to account for updated description.

Merge branch '4869-keepalive' refs #4869

4523: Do not search :text fields at all.