3781: Merge branch 'master' into 3781-browser-upload

Conflicts:
apps/workbench/app/assets/javascripts/application.js
apps/workbench/app/views/projects/show.html.erb

4533: Fix wrong lock mode. refs #4533

Merge branch '4533-lock-tables-first' refs #4533

Update version pin of arvados-cli gem.  refs #3698

4533: Lock all tables before deleting contents.

Merge branch '4291-workbench-collection-sharing-button-wip'

Closes #4291, #4676, #4688.

4291: Workbench says explicitly when collection sharing is disabled.

4291: Workbench Collection sharing buttons are actual buttons.

This prevents users from trying to open them in new windows/tabs and
getting a 404 response.

I had to rework the pipeline instance comparison JavaScript because it
was disabling the collection share button on page load.  All that was
really necessary was making sure the event only fires when there
actually is a form#compare, but I did some other cleanup in the
process of learning that.

4676: Collection sharing popup is always JavaScript.

This fixes an issue where the response would sometimes be sent with
Content-Type: text/html.  We thought it might be a race condition with
AJAX, but the browser was sending a correct Accept: header.

4291: Add Workbench controller tests for collection sharing.

I wrote these while diagnosing another problem.

4291: Workbench uses .prop() to set element disabled property.

Per <http://api.jquery.com/prop/>: "The .prop() method should be used
to set disabled and checked instead of the .attr() method."

4291: Clean up HTTP methods in Workbench URL generators.

According to the docs at
<http://api.rubyonrails.org/files/actionview/lib/action_view/helpers/url_helper_rb.html>:

* `button_to` and `form_for` take :method as a symbol.
* `link_to` takes :method as a symbol, and only supports :delete,
  :post, :patch, and :put.  Any link that should be done with GET
  should not have a method specified.
* Note that `form_tag` *does* take a string, so not every method
  should be symbolized.

Merge branch '4705-fuse-collections-from-keep-wip'

Closes #4705, #4708.

4705: FUSE driver can read Collections that only exist in Keep.

4705: Fix FUSE exception logging.

logger.exception() doesn't take the exception as an argument, it takes
a message like all the other logger methods.  It gets the exception
information from sys.exc_info().

4705: Refactor mount creation in FUSE tests.

4705: Add CollectionReader.api_response() to PySDK.

The FUSE driver wants this information.

Docker: passenger only needs to support ruby, so specify that explicity
when building the apache module.

No issue #

4533: use "extend" when calling module methods from class methods. refs #4533

Seems to matter only in production: config.cache_classes?

Merge branch '4591-websockets-raise-oom-wip'

Closes #4591, #4701.

4591: Websockets server fetches fewer logs at a time.

Most of the out of memory errors we're seeing happen in the PostgreSQL
driver, which runs out of space to store results.  Because Log records
are relatively large (holding two other records as JSON text),
fetching fewer in a batch should noticeably improve memory use.  I
don't expect this to end the crashing, though—it seems like the
Websockets server grows large for a variety of reasons.  Hopefully
this change will help make some of the others clearer.

4591: Avoid capturing critical exceptions in Websockets server.

Based on the current logs, the troubles we're currently hitting in
Websockets happen in push_events, where all the database work
happens.  These exceptions wrap PostgreSQL driver errors; they inherit
from StandardError, so they're being caught by the rescue block.
This commit re-raises those exceptions, which will cause the server to
crash (and presumably be restarted by a supervisor like runit).

We do sometimes see NoMemoryError, but the block to catch is in
ineffective because it usually manifests earlier in on_connect, when
the connection is first made.  In this case, Ruby's default exception
handling provides the behavior we want, so just remove the block.

In keeping with the theme of improved exception handling, I tightened
up the bad request detection.

Merge branch '4621-crunch-memory-usage'

Refs #4621.

4621: undo lean_uri_escape changes

closes #4645
Merge branch '4645-log-in-graph'

4621: drop unused variable $output_in_keep

4621: code review feedback

Removed @jobstep == 1 optimization (no longer appropriate now that we
expect this function to always return the hash of a collection).

Clarified error message for timeout errors.

4621: collate_output pipes to python

Rewrote collate_output as create_output_collection, writing its output
data to a Python subprocess that invokes
arvados.api().collections().create().  Writing very large collection
manifests in-process makes Arvados.pm consume inordinate amounts of
memory.

Refs #4621.

4645: log files in provenance graph can be clicked.

4699: Fix crash when collection has tags but no name. closes #4699

Fix syntax error in workbench diagnostics_test_helper.rb

No issue #

4533: Pass CORS test when no omniauth provider is configured. refs #4533

closes #4487
closes #4558
Merge branch '4487-and-4558'

Merge branch 'master' into 4487-and-4558

4487: updates from review feedback

Merge branch '3781-browser-friendly-servers' refs #3781

Merge branch 'master' into 4487-and-4558

closes #4644
Merge branch '4644-collection-file-filtering'

Merge branch 'master' into 4644-collection-file-filtering

4644: do not add filterable to directories

4487: Omit "Remove selected" selection option when the current user cannot write to the project.
4558: Remove ellipsis from Selection dropdown name.

Merge branch '4533-remote-reset' closes #4533

Conflicts:
apps/workbench/Gemfile.lock

4533: Consolidate database-reset tests. Fix up ensure/reload_routes! blocks.

4644: fix div end tag placement and add filterable to directories as well.

4533: Remove config flag from default section, too.

Merge branch '4501-fuse-by-id-subdirectory-wip'

Closes #4501, #4675.

4501: FUSE exposes by_id subdirectory when run with --by-id.

This makes it possible for people to develop code against their own
normal Keep mount, and then have it work as expected in Crunch (which
uses --by-id for backward compatibility).

I considered adding a second inode for by_id that pointed to the same
underlying MagicDirectory instance.  Unfortunately, the current
implementation would make it difficult to avoid exposing infinitely
recursing by_id subdirectories, and that seemed like a bigger problem
than the relatively small overhead of having two MagicDirectory
instances.  (The Keep client will use comparatively more RAM, and it
will use the same block cache for both directories, which should keep
it relatively under control.)

4501: Restore FUSE FuseTagsUpdateTest.

This test hasn't been running in a while because it defined
runRealTest rather than runTest.  The old code predates Collection
UUIDs, so it had to be updated to deal with those.

Merge branch '4595-node-list-select' closes #4681

Fix typos in documentation.

This closes #4518

4595: Merge branch 'master' into 4595-node-list-select

4595: Fix nodes.list?select=[...] crash when is_admin. Also, do not ignore where/limit/order.

Merge branch '4233-graph-job-stats' closes #4233

4233: websocket test of log charting should look at the right datapoint

4533: Replace enable_remote_reset config knob with check for existence of non-fixture users.

4533: Move all controller tests into controllers/, merge overlapping class defs.

4533: Skip one-fixture-reset-per-test in a few test classes.

4533: Disable database-reset for all diagnostics test classes.

4533: Move "database reset does not break basic operations" into its own test.

4533: Reset fixtures after each test case by default.

4233: adjustment to previous commit, round numbers before comparing - stay loose

4233: only divide CPU usage by number of CPUs when total CPU usage is less than the measured interval time

4533: Merge branch 'master' into 4533-remote-reset

4233: split up received log entries by newline characters too

3781: Merge branch '3781-browser-friendly-servers' into 3781-browser-upload

3781: Fix OPTIONS routing.

3781: Merge branch '3781-browser-friendly-servers' into 3781-browser-upload

3781: Merge branch 'master' into 3781-browser-friendly-servers

3781: Add browser->api/keepproxy angular app as Upload tab on collections#show

3781: Remove js cruft from api server.

3781: Fix error propagation.

3781: Add allowed headers. Respond to OPTIONS at any path.

3781: Add POST method for writing without knowing MD5.

3781: Set CORS headers in keepproxy responses.

3781: Add tests for CORS headers. Turn off CORS headers at OPTIONS /login etc.

3781: Set CORS headers in API responses.

4621: implement lean_uri_escape

lean_uri_escape implements URI escaping as in URI::Escape, but with
substantially less RAM (at the cost of less error checking).

Also fixes a bug in crunch-job's strftime call.

Document arv keep ls in the cli sdk reference.

No issue #

4533: Use Rails.env instead of ENV["RAILS_ENV"]. Add comment in test case.

4233: prepend historical log entries

4233: use "success" JS function after AJAX call to get logs rather than a JS view to "push" logs to the log chart

4233: convert accidental tabs to spaces

Merge branch 'master' into 4233-graph-job-stats

Update arvados-cli Gemfile.lock. No issue #

Merge branch '4651-boolean-params' closes #4651

4533: Merge branch 'master' into 4533-remote-reset

4651: Fix exceptions. Accept 0 for false, 1 for true.

4533: Add integration test.

4651: ensure_unique_name param is not required.

4651: Merge branch 'master' into 4651-boolean-params

4651: Update NodesController _ping_requires_parameters format.

4651: Fix KeepDisksController test failures.

Merge branch '4186-install-doc-improvements'

refs #4186

Improve the installation instructions for keepproxy and keepstore - take sudo into account.

refs #4186

Merge branch '4336-improve-upload-data-to-keep-doc'

refs #4336

Refactor the 'Uploading data' page.

refs #4336

Add basic documentation for arv keep put and arv keep get.

refs #4336

Link directly to the CLI SDK install instructions.

refs #4336

Make the 'check-environment' blurb stand out more from the regular text.

refs #4336

Wording improvements on the sdk cli installation page.

refs #4336