Merge branch '4621-crunch-memory-usage'

Refs #4621.

4621: undo lean_uri_escape changes

closes #4645
Merge branch '4645-log-in-graph'

4621: drop unused variable $output_in_keep

4621: code review feedback

Removed @jobstep == 1 optimization (no longer appropriate now that we
expect this function to always return the hash of a collection).

Clarified error message for timeout errors.

4621: collate_output pipes to python

Rewrote collate_output as create_output_collection, writing its output
data to a Python subprocess that invokes
arvados.api().collections().create().  Writing very large collection
manifests in-process makes Arvados.pm consume inordinate amounts of
memory.

Refs #4621.

4645: log files in provenance graph can be clicked.

4699: Fix crash when collection has tags but no name. closes #4699

Fix syntax error in workbench diagnostics_test_helper.rb

No issue #

4533: Pass CORS test when no omniauth provider is configured. refs #4533

closes #4487
closes #4558
Merge branch '4487-and-4558'

Merge branch 'master' into 4487-and-4558

4487: updates from review feedback

Merge branch '3781-browser-friendly-servers' refs #3781

Merge branch 'master' into 4487-and-4558

closes #4644
Merge branch '4644-collection-file-filtering'

Merge branch 'master' into 4644-collection-file-filtering

4644: do not add filterable to directories

4487: Omit "Remove selected" selection option when the current user cannot write to the project.
4558: Remove ellipsis from Selection dropdown name.

Merge branch '4533-remote-reset' closes #4533

Conflicts:
apps/workbench/Gemfile.lock

4533: Consolidate database-reset tests. Fix up ensure/reload_routes! blocks.

4644: fix div end tag placement and add filterable to directories as well.

4533: Remove config flag from default section, too.

Merge branch '4501-fuse-by-id-subdirectory-wip'

Closes #4501, #4675.

4501: FUSE exposes by_id subdirectory when run with --by-id.

This makes it possible for people to develop code against their own
normal Keep mount, and then have it work as expected in Crunch (which
uses --by-id for backward compatibility).

I considered adding a second inode for by_id that pointed to the same
underlying MagicDirectory instance.  Unfortunately, the current
implementation would make it difficult to avoid exposing infinitely
recursing by_id subdirectories, and that seemed like a bigger problem
than the relatively small overhead of having two MagicDirectory
instances.  (The Keep client will use comparatively more RAM, and it
will use the same block cache for both directories, which should keep
it relatively under control.)

4501: Restore FUSE FuseTagsUpdateTest.

This test hasn't been running in a while because it defined
runRealTest rather than runTest.  The old code predates Collection
UUIDs, so it had to be updated to deal with those.

Merge branch '4595-node-list-select' closes #4681

Fix typos in documentation.

This closes #4518

4595: Merge branch 'master' into 4595-node-list-select

4595: Fix nodes.list?select=[...] crash when is_admin. Also, do not ignore where/limit/order.

Merge branch '4233-graph-job-stats' closes #4233

4233: websocket test of log charting should look at the right datapoint

4533: Replace enable_remote_reset config knob with check for existence of non-fixture users.

4533: Move all controller tests into controllers/, merge overlapping class defs.

4533: Skip one-fixture-reset-per-test in a few test classes.

4533: Disable database-reset for all diagnostics test classes.

4533: Move "database reset does not break basic operations" into its own test.

4533: Reset fixtures after each test case by default.

4233: adjustment to previous commit, round numbers before comparing - stay loose

4233: only divide CPU usage by number of CPUs when total CPU usage is less than the measured interval time

4533: Merge branch 'master' into 4533-remote-reset

4233: split up received log entries by newline characters too

3781: Fix OPTIONS routing.

3781: Merge branch 'master' into 3781-browser-friendly-servers

3781: Fix error propagation.

3781: Add allowed headers. Respond to OPTIONS at any path.

3781: Add POST method for writing without knowing MD5.

3781: Set CORS headers in keepproxy responses.

3781: Add tests for CORS headers. Turn off CORS headers at OPTIONS /login etc.

3781: Set CORS headers in API responses.

4621: implement lean_uri_escape

lean_uri_escape implements URI escaping as in URI::Escape, but with
substantially less RAM (at the cost of less error checking).

Also fixes a bug in crunch-job's strftime call.

Document arv keep ls in the cli sdk reference.

No issue #

4533: Use Rails.env instead of ENV["RAILS_ENV"]. Add comment in test case.

4233: prepend historical log entries

4233: use "success" JS function after AJAX call to get logs rather than a JS view to "push" logs to the log chart

4233: convert accidental tabs to spaces

Merge branch 'master' into 4233-graph-job-stats

Update arvados-cli Gemfile.lock. No issue #

Merge branch '4651-boolean-params' closes #4651

4533: Merge branch 'master' into 4533-remote-reset

4651: Fix exceptions. Accept 0 for false, 1 for true.

4533: Add integration test.

4651: ensure_unique_name param is not required.

4651: Merge branch 'master' into 4651-boolean-params

4651: Update NodesController _ping_requires_parameters format.

4651: Fix KeepDisksController test failures.

Merge branch '4186-install-doc-improvements'

refs #4186

Improve the installation instructions for keepproxy and keepstore - take sudo into account.

refs #4186

Merge branch '4336-improve-upload-data-to-keep-doc'

refs #4336

Refactor the 'Uploading data' page.

refs #4336

Add basic documentation for arv keep put and arv keep get.

refs #4336

Link directly to the CLI SDK install instructions.

refs #4336

Make the 'check-environment' blurb stand out more from the regular text.

refs #4336

Wording improvements on the sdk cli installation page.

refs #4336

Fix typo.

refs #4336

Add third installation option for the python SDK: our debian/ubuntu packages.

refs #4336

4233: select from Logs table only columns we will need

4233: consistent use of ISO time-zone in timestamps corrects differences between Firefox and Chrome's charting results

4233: ignore negative deltas when charting log stats

4233: refactor to only query the log lines once and use the JS triggers to create both the text log div and the stat chart at the same time

4233: do not show "raw" data for datapoint if not defined

4233: tab character corrected

4651: Accept "false" as false for a boolean param. Reject bogus strings.

Also, advertise find_or_create param from the controller, not just the
discovery document generator.

closes #4339
Merge branch '4339-test-error-while-loading-tab'

4339: config will be reset after each test, so no need to reset it explicitly. also, use assert_selector instead of assert has_link?

4339: add test for "error while loading tab"

refs #4156
Merge branch '4156-cli-tests'

Merge branch 'master' into 4156-cli-tests

4156: uncomment one of the asserts

closes #4641
Merge branch '4641-make-jenkins-tests-pass'

4641: click on confirm dialog OK button in sharing test on Revoke action.

4641: use selenium driver and bigger page width.

4533: Set group_class="role" on "All users" group.

4533: Merge branch 'master' into 4533-remote-reset

Conflicts:
services/api/db/seeds.rb

Merge branch 'master' into 4156-cli-tests

4156: 3 more tests needed to be skipped.

Merge branch '4400-python-install-herring' refs #4400

Merge branch '4595-document-arv-filters'

Refs #4595.

Reorganize the arv documentation a bit more, putting it all in one place.

refs #4595

4400: Fix whitespace. Fix tagging in nodemanager, too.