All functional tests passing with refactored code.

workbench: Add developer docs.

This adds a new README with information that's useful for people who
want to develop Workbench.  Right now it's just information about how
to run and write tests.  We can add to this as we go.

Some of this information was pulled from the installation guide.  I
also deleted Rails' stock README while I was at it.

Merge branch '1750-use-supported-discovery-doc'

refs #1750

Expiring pipeline tokens works.

Working on re-using token per pipeline and expiring token when the pipeline is done.

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Merge branch '2316-no-clear-tmp-flag'

closes #2316
refs #2372

Merge branch 'master' into 2316-no-clear-tmp-flag

Remove old schema#show method used by Workbench before
14ea55f217bbd7061fafc1fe69f4f453ad7c3e59.

Use the supported discovery document instead of the old schema#show shim.

workbench: Bundle integration env bugfix.

The previous version did not unpack arguments correctly.

When running with WEBrick, auto-generate a new self-signed SSL
certificate for each run, rather than hardcoding a path to a certificate
and key file.

workbench: Expound Bundle+integration interaction.

Unsurprisingly, I don't write my best code and comments when I'm
frantically trying to fix the build.

workbench: Make SERVER_PID_PATH a constant.

workbench: Tweak integration test environment.

RUBYLIB and RUBYOPT seem to be necessary on the build server.

workbench: Improve API server integration launch.

The previous version sometimes tried (and failed) to find the server
pid before rails wrote it.  This provides some limited retry, and
avoids spawning a subshell too.

workbench: Improve integration test environment.

Removing too much from the environment causes builds to fail in
Jenkins.  Instead of using a whitelist of environment variables, use a
blacklist of variables that Bundle modifies.

Fixes bug loading API tokens page.
Added test using our new workbench testing framework to make sure it doesn't happen again.

All tests passing

Merge branch '2288-integration-tests'

testing setup method implementation

Merge branch 'master' into 2187-enhance-user-setup

setup-new-user script using the setup method.

Use setup method instead of create method to setup a new user

workbench: Fix typo in application.default.yml.

workbench: Make integration test settings default.

We know that these settings should work out of the box, given the
settings in the API server's `rails` script.  Making them the default
makes it easier to get the tests running.

Use flock() to prevent sharing crunch-tmp with another job in local dev mode.

Update the functional tests to use the setup method

Introduce a new setup method in the users controller

Merge branch '2193-fix-permissions-cache' (no functional changes, only unit tests)

Merge remote-tracking branch 'origin/master' into 2051-nondeterministic-jobs

Merge branch '2278-crunch-dispatcher-monitor-processes'

Silly git staging.

- Made a note about intentionally not setting "success"
- Changed if c[:job][:success] == false to elsif
- Changed == nil to .nil?
- Removed whitespace

Enforces that repository, script, script_version, script_parameters are provided.

Documentation fixes based on running linkchecker.

Added documentation for jobs and pipelines, and updated docs to reflect that "repository" has been split out from "script_version" and is now required.

Use rails configuration for default openid prefix.

Merge branch 'master' into 2187-enhance-user-setup

Replace tabs with spaces as per our coding standards

Clear rails cache on startup.

Remove -n aka just probe option from the setup-new-user script as per Ward's core review recommendation.

* Added migration to break script_version into separate "repository" and "script_version" fields
* Added "no_reuse" which tells API server not to reuse old jobs but does not taint the job by setting the "nondeterministic" flag
* arv-run-pipeline-instance now creates jobs directly and relies on API server to determine when it is appropriate to re-use old jobs

Update comments in the tests

When create is invoked with user object as input, check if object exists for the given uuid or email.

workbench: Document integration test dependencies.

This adds appropriate notes to the installation guide, and suggestions
to application.yml.example.

workbench: Add basic login integration tests.

workbench: Add VM integration tests.

This is the "start test" that Ward suggested I implement to start off.
It's easy but not trivial: it requires JavaScript support and filling
out a form.

workbench: Use Poltergeist for integration tests.

This is faster and will enable us to run integration tests on the
build server.

PhantomJS (http://phantomjs.org/) has to be installed in the $PATH for
this to work.

workbench: Add integration test helper module.

This provide a base test class that provides the Capybara DSL and a
couple of convenience methods.  It also specifies a test runner class
that sets up the API server consistently, with the proper environment.

When using user_param, the user object is not expected. If passed, it will be discarded.

workbench: Add Capybara gem for integration tests.

Added tests for permissions to reuse jobs, tests for excluding commits.

More asserts for links

remove hard coded uuids from tests

Some more refactoring

Remove force option

Functional tests to verify links

* New code to find resolve commit versions and ranges by scanning repositories with "git rev-list".
* When job "create" is called, it may return a previous job if the job specification (script, version, inputs) matches
* Provided a "nondeterministic" column to speciy a job should not be reused.
* Added tests for searching commit ranges and when jobs should be re-used.

Added functional tests for controller updates

Fix a nil check

js: Add identifiers to X-Editable templates.

This gives the form elements name and id attributes, as appropriate.
This will make it easier for us to refer to them in integration tests.

Fix an error introduced elsewhere in the file.

Merge branch '2278-crunch-dispatcher-monitor-processes' into 2051-nondeterministic-jobs

A simplified version of setup_new_user.rb script, where all the create user and links logic is moved into users controller.

Added "nondeterministic" column to Jobs table via migration.
Added check for "nondeterministic" field to arv-run-pipeline-instance.

* Allow the system user to update job columns, even if the job is "locked"
* Once the job process completes, automatically mark "job.running = false" and set "job.finished_at" if not set
* Exclude jobs from the queue where the "success" field is already set
* Consider a pipeline to be failed if any of the component jobs are marked as failed

All links in place

Use --no-clear-tmp flag to decide whether to remove of old temporary
directories, rather than deciding based on whether script_version is a
commit or a local directory.

Test just_probe and openid_prefix options

Merge branch 'master' into 2290-user-activity

Add link from users#index to users#activity. Not as good as showing it
in the tab itself, but better than no link at all.

Tweak table styles and add Total row

More accomplished

Merge branch 'master' into 2187-enhance-user-setup

create and some links tested

Integration test for permission links.

Merge remote-tracking branch 'origin/master' into 2075-workbench-paging

Conflicts:
services/api/app/controllers/arvados/v1/schema_controller.rb

Merge branch '2257-inequality-conditions'

closes #2257

Add "filters" param to discovery document, add deprecation note to
"where" param description.

api: Improve compute_node_domain handling.

The default value was causing test failures on my machine because the
ERB evaluated to an empty string.  And we want to avoid this causing
any DNS lookups during tests.  Now we make the default false (in line
with our other compute_node_* settings), and suggest a change in
application.yml.example to demonstrate how it should be set.

I also fixed up the example about compute_node_nameservers while I was
at it.

This closes #2351.

Merge branch '2257-inequality-conditions' into 2290-user-activity

Conflicts:
apps/workbench/app/controllers/users_controller.rb
apps/workbench/app/models/arvados_base.rb
apps/workbench/config/routes.rb

Make integer attributes searchable, add test cases.

Merge branch 'master' into 2257-inequality-conditions

Added "Displaying X of Y out of Z"
Improved links to adjacent pages

Merge branch 'master' into 2187-enhance-user-setup

WIP - update the create action in users controller to create user object and also create the links

* Added support for offset and limit query parameters (?limit=x&offset=y) to workbench index pages.
* Created _paging partial for rendering forward/backward/jump to page N
* Added paging to generic index page, index pages for collections, pipeline instances, pipeline templates, groups.

Add functional test to create a new user

Filters out "show", "index" and "destroy" methods from discovery document generation because they are
redundant with "get", "list" and "delete".

Added offset to 'list' method on resources.
Added "offset" and "limit" fields to the response.
Removed "next_page_token" and "next_link" fields that were not being used.

Fix order of steps in install doc, add git_repositories_dir
instructions, remove troublesome default config.

doc: Make Workbench install guide up-to-date.

* Configure the application with `application.yml` instead of
  `config/environments/*.rb`.

* Consistently capitalize Workbench.

Formatting tweaking to look good on github.

Added more links to information in README.

Added a README with pointers to the documentation, COPYING with license information, the relevant licenses, as well as a license section to the user guide.

Fix crash in render_error(not_an_exception), and use raise() rather
than calling render_error() directly from ApplicationController#save
and #update

Add sqlite3 to Gemfile so database.yml.sample works unmodified

Fix configured uuid_prefix and force_ssl getting overwritten by application.rb