Merge branch '3021-leave-api-running' refs #3021

3021: Bugfix for arvados_fuse.TagsDirectory to correctly merge tag list updates
with existing TagsDirectory entries.

3021: Use bind(0.0.0.0, 0) instead of grep /proc/net/tcp to find a port number.

Relax version limit of python-daemon dependencies.

We imposed this limit in 9c2e673ba96ba5d11e56a4aba67157e64dfe01e2.
The issues seem to be ironed out as of version 2.0.4.  See:

* <http://lists.alioth.debian.org/pipermail/python-daemon-devel/2015-January/000114.html>
* <https://bitbucket.org/pypa/setuptools/issue/338/__future__-imports-are-not-effective-in>

No issue #.

3021: Merge branch 'master' into 3021-leave-api-running

Conflicts:
sdk/python/tests/test_websockets.py

3021: We use passenger in dev and test environments, too.

3021: Make sure any unexpected openssl output ends up on stderr.

3021: Reduce race potential by resetting database after fuse unmounts.

3021: Remove unused variable.

3021: Use kwargs to pass options through make_mount(). Dry up FuseTagsUpdateTest.

Merge branch '5141-workbench-numeric-inputs-wip'

Closes #5141, #5143.

5141: Workbench permits float values for number pipeline inputs.

Previously, when a pipeline input had the number dataclass, we
rendered the input form with type=number.  However, the Arvados number
dataclass is meant to allow all numeric types.  The HTML 5 number
input type only permits integers.

Unfortunately, X-Editable does not have any built-in validation for a
broader range of numeric types.  This commit simply removes any
validation.

3021: Give up earlier if ARVADOS_TEST_API_HOST is set but reset() fails.

3021: Reset env vars in any reset(), not just in start().

Avoid optional disk cache usage if it is owned by a different user. refs #2659.

5135: Workbench consistently orders modal buttons.

Primary buttons should be first from the right, following Bootstrap
conventions and Tom's edict.  Closes #5135.

3021: Set env var to empty string instead of removing it. Unsetenv isn't worth introducing a dependency on Go 1.4.

Merge branch '4472-save-partial-output' closes #4472

3021: In start(), if a stale server is already running (but we can't reset() it), kill it.

3021: Check whether a randomly selected port is available before using it.

3021: Don't worry about env vars, run_test_server.py does that.

3021: Fix use of inaccessible global in atexit handler.

3021: Remove ARVADOS_KEEP_PROXY support. (If you need to interfere
with the discovery mechanism from out-of-process, use some combination
of HTTP_PROXY, NO_PROXY, and a generic proxy server.)

3021: Set up a proxy-only keepclient manually, instead of communicating with global/env vars.

3021: Tidy up (and document) the choice of exactly which server we expect to run/reset/stop.

3021: Fix misspelled variable.

Merge branch '2659-anonymous-share-projects' refs #2659

2659: Use a partial instead of a switch block for the not-so-generic "create object" button. Don't show one at /jobs or /collections.

2659: Use assert_operator to help debug unreliable test.

2659: Split skip_around_filter back into two separate cases. 063c546 was misguided here.

5131: Document run-command's escape sequences.

Refs #5131.

2659: Do not turn on anonymous config by default in test mode; instead make the tests set it as needed.
Also convert some of the simple integration tests into controller tests.

2659: add publicly accessible pipeline instance and template to the list of objects to be expected in the project.

Merge branch '2659-anonymous-share-projects' of git.curoverse.com:arvados into 2659-anonymous-share-projects

Merge branch 'master' of git.curoverse.com:arvados into 2659-anonymous-share-projects

2659: Fix up chicken-and-egg conditions in seed setup.

2659: Fix infinite recursion while creating system_user.

Merge branch '2659-anonymous-share-projects' of git.curoverse.com:arvados into 2659-anonymous-share-projects

2659: tests do not "assume" that anonymous configuration is enabled.

2659: Token fail during download is 404 when anon token is enabled, 302 otherwise.

2659: Fix anonymous token test.

2659: add test cases where anonymous config is turned off for collections, jobs, pipeline instances, templates, and projects controller show method.

2659: Add separate test for "run pipeline" notification when anonymous token is configured, skip it for now.

2659: Do not ask to skip_around_filter(only:...) and skip_around_filter(if:...) for the same filter, because that doesn't work.

2659: Check anon config at runtime instead of boot time in skip_before_filter. This makes it possible for test cases to toggle behavior by changing configuration on the fly.

Merge branch '5131-run-command-consume-backslashes-wip'

Closes #5131, #5132.

5131: run-command consumes escape backslashes.

run-command has long recognized backslashes to inhibit
substitution, but it was leaving those backslashes in the string,
which could lead to incorrect commands.  This commit makes sure
they're removed after they're parsed.

2659: Remove obsolete "don't create jobs in workbench" rule.

2659: Update test to match changed error message.

2659: Remove obsolete "don't create collections in workbench" rule.

2659: Back out unneeded condition. Fix up whitespace.

2659: Toggle features according to editable? and creatable? instead of current_user.is_active. Fix up whitespace.

2659: Fix indentation.

2659: Use Collection.creatable? to toggle selection actions.

2659: Reload seeds (system_user et al.) after cache is cleared. Be more careful about errors while creating seeds.

5087: API server uses a crunch-job with bugfix.

Refs #5087.

2659: Set group_class=role on anonymous group, change name to "Anonymous users".

2659: Fix crash in /users/current when not logged in.

2659: Fix up 404 page.

2659: Fix crashes when current_user is nil.

2659: Send anonymous token as a reader token with all requests.

2659: Finally understood the mystery behind the "anonymous tests are failing when run with all other tests".
There is a permission link fixture for anonymous group. I needed to create read permission link for anonymous user.
(Tom thinks) the groups permission cache may be getting out of sync somehow.

2659: Expect redirect to login page when show method is executed in jobs controller etc when no anonymous configuration is set.
Something is overriding the configured value from application.default.yml when the test is executed along with all other tests!

2659: fix test assertion

2659: enable anonymous user config in test environment.

2659: add a "you are not logged in" warning in 404 page.

Merge branch 'master' into 2659-anonymous-share-projects

2659: skip require_thread_api_token filter only when anonymous config enabled.

2659: Do not require login for project tab_counts method as well.
Remove anonymous login tests for /users and /groups pages since we are no longer doing session establishment for anonymous user login.
These are like any other un-shared pages and show login page to user.

2659: load @prov_svg outside of the 'if current_user' block so that an anonymous user can see the provenance graph when accessing publicly accessible collection.

2659: prevent nil exception when a content hash link is clicked by anonymous user

2659: anonymous token handling in api client updated

2659: no need for permit_anonymous_browsing_for_public_data filter; instead, directly use the anonymous token in arvados_api_client.

2659: is_anonymous helper method is not needed anymore.

2659: do not include "You are viewing public data" in topnav when anonymous user is accessing a shared project.

Documentation cleanup: CLI SDK:

- merge some information from the wiki.
- reorganize things a bit.

No issue #

3021: Use `passenger stop` to shut down passenger. Restore database fixtures after running DatabaseCleaner-powered tests.

2659: instead of setting up a session as anonymous user, just use anonymous token to serve publicly accessible resources.

2659: add some more text assertions; several of the same tests are failing quite consistently when run with the entire test suite.

2659: remove most of the user-based tests since they are covered in other test files to make the test cases  as minimal as possible.

3021: gitignore **/vendor

3021: Use run_test_server.py instead of the special workbench way of starting an API server.

2659: slightly improved test flows

3021: Round up various implementations of "run test servers" into an arvadostest module. Update to work with new run_test_server.py.

* Get the API host, port, and admin token from the run_test_server.py
  --auth output, instead of guessing localhost:3000 etc.

* Fix race condition in proxy TestPutAskGetForbidden: set up the
  client first, then switch back to a real token for the server to
  use, instead of hoping the server grabs its token before sleep(0.1)
  returns and we sabotage the environment with a bogus one.

3021: Refactor run_test_server.

* Always start API server with both https:// and wss:// enabled. Use
  mocks to test the websocket-not-available case.

* Leave the API server running between tests; just hit reset() when
  needed. Wait until exiting the process to stop the server.

* Do not use rake (tmp:cache:clear, db:test:load, db:fixtures:load) to
  reset the API server's database before starting up a new
  server. Instead, call /database/reset after starting it. (If that
  doesn't work, crash instead of proceeding with undefined results.)

* If a parent process has already started an API server and put its
  endpoint in ARVADOS_TEST_API_HOST, use that instead of starting a
  new one, and leave it running at exit.

* Start servers on random port numbers, so [some] test suites can run
  concurrently with others on a single host (assuming they're
  configured to use different databases).

2659: add completed job fixture in publicly accessible project and test assertions for re-run job button for it.

2659: (1) Update link_to_if_arvados_object method to display an object name as link for User type only when the user is active.
Otherwise, an anonymous user will always see 404 when such a link is clicked.
(2) In the unlikely event of an anonymous user traversing to /users or /groups pages, there will be an 'Add a new xxx' link,
which is undesirable (even though they do eventually fail when accessed). Hence, hide them for inactive users.
(3) Add test assertions for both the updates.

3021: Propagate unhandled exceptions back to the caller instead of returning None. Show a warning message only when falling back to polling.

3021: Add comment about IPv4/IPv6 trap in websocket client.

2659: It appears that a job's log file is stored in a user's Home project, instead of the project in which the job originated from.
Due to this, when an anonymous user accesses the job from the publicly accessible project, the Log tab is failing.
Hence, display job -> Log tab for active users only.

2659: show job cancel button only when user is_active.

2659: more asserts in dashboard testing

2659: trailing white space

Merge branch 'master' into 2659-anonymous-share-projects

2659: Collection show_files shows selection dropdown (which has only create new collection from selected files option) when user is active.
Also, dashboard displays the 'Run a pipeline' selector for active users. Upated anonymous user test to verify dashboard access.

5037: Fix tearDown error handling in PySDK Websockets test.

I accidentally broke this in 51f9e6cb.  That version would crash if
the test failed to assign self.ws.  Refactor to be more robust in that
case.  No issue #.

2659: hide job re-run button when user is inactive and add fixtures and tests for anonymous user to access tabs in publicly accessible project.

2659: show tab buttons, selection actions etc only when the current_user is_active to allow clean anonymous user experience.

2659: when an anonymous user is accessing public data, offer "Log in" button instead of "Log out" button.

2659: add text message "You are viewing public data" to top nav when anonymous user is accessing a public project. also add anonymous access tests.