Working on re-using token per pipeline and expiring token when the pipeline is done.

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Merge branch '2316-no-clear-tmp-flag'

closes #2316
refs #2372

Merge branch 'master' into 2316-no-clear-tmp-flag

workbench: Bundle integration env bugfix.

The previous version did not unpack arguments correctly.

When running with WEBrick, auto-generate a new self-signed SSL
certificate for each run, rather than hardcoding a path to a certificate
and key file.

workbench: Expound Bundle+integration interaction.

Unsurprisingly, I don't write my best code and comments when I'm
frantically trying to fix the build.

workbench: Make SERVER_PID_PATH a constant.

workbench: Tweak integration test environment.

RUBYLIB and RUBYOPT seem to be necessary on the build server.

workbench: Improve API server integration launch.

The previous version sometimes tried (and failed) to find the server
pid before rails wrote it.  This provides some limited retry, and
avoids spawning a subshell too.

workbench: Improve integration test environment.

Removing too much from the environment causes builds to fail in
Jenkins.  Instead of using a whitelist of environment variables, use a
blacklist of variables that Bundle modifies.

Fixes bug loading API tokens page.
Added test using our new workbench testing framework to make sure it doesn't happen again.

Merge branch '2288-integration-tests'

workbench: Fix typo in application.default.yml.

workbench: Make integration test settings default.

We know that these settings should work out of the box, given the
settings in the API server's `rails` script.  Making them the default
makes it easier to get the tests running.

Use flock() to prevent sharing crunch-tmp with another job in local dev mode.

Merge branch '2193-fix-permissions-cache' (no functional changes, only unit tests)

Merge branch '2278-crunch-dispatcher-monitor-processes'

Silly git staging.

- Made a note about intentionally not setting "success"
- Changed if c[:job][:success] == false to elsif
- Changed == nil to .nil?
- Removed whitespace

workbench: Document integration test dependencies.

This adds appropriate notes to the installation guide, and suggestions
to application.yml.example.

workbench: Add basic login integration tests.

workbench: Add VM integration tests.

This is the "start test" that Ward suggested I implement to start off.
It's easy but not trivial: it requires JavaScript support and filling
out a form.

workbench: Use Poltergeist for integration tests.

This is faster and will enable us to run integration tests on the
build server.

PhantomJS (http://phantomjs.org/) has to be installed in the $PATH for
this to work.

workbench: Add integration test helper module.

This provide a base test class that provides the Capybara DSL and a
couple of convenience methods.  It also specifies a test runner class
that sets up the API server consistently, with the proper environment.

workbench: Add Capybara gem for integration tests.

js: Add identifiers to X-Editable templates.

This gives the form elements name and id attributes, as appropriate.
This will make it easier for us to refer to them in integration tests.

* Allow the system user to update job columns, even if the job is "locked"
* Once the job process completes, automatically mark "job.running = false" and set "job.finished_at" if not set
* Exclude jobs from the queue where the "success" field is already set
* Consider a pipeline to be failed if any of the component jobs are marked as failed

Use --no-clear-tmp flag to decide whether to remove of old temporary
directories, rather than deciding based on whether script_version is a
commit or a local directory.

Integration test for permission links.

Merge remote-tracking branch 'origin/master' into 2075-workbench-paging

Conflicts:
services/api/app/controllers/arvados/v1/schema_controller.rb

Merge branch '2257-inequality-conditions'

closes #2257

Add "filters" param to discovery document, add deprecation note to
"where" param description.

api: Improve compute_node_domain handling.

The default value was causing test failures on my machine because the
ERB evaluated to an empty string.  And we want to avoid this causing
any DNS lookups during tests.  Now we make the default false (in line
with our other compute_node_* settings), and suggest a change in
application.yml.example to demonstrate how it should be set.

I also fixed up the example about compute_node_nameservers while I was
at it.

This closes #2351.

Make integer attributes searchable, add test cases.

Merge branch 'master' into 2257-inequality-conditions

Added "Displaying X of Y out of Z"
Improved links to adjacent pages

* Added support for offset and limit query parameters (?limit=x&offset=y) to workbench index pages.
* Created _paging partial for rendering forward/backward/jump to page N
* Added paging to generic index page, index pages for collections, pipeline instances, pipeline templates, groups.

Filters out "show", "index" and "destroy" methods from discovery document generation because they are
redundant with "get", "list" and "delete".

Added offset to 'list' method on resources.
Added "offset" and "limit" fields to the response.
Removed "next_page_token" and "next_link" fields that were not being used.

Fix order of steps in install doc, add git_repositories_dir
instructions, remove troublesome default config.

doc: Make Workbench install guide up-to-date.

* Configure the application with `application.yml` instead of
  `config/environments/*.rb`.

* Consistently capitalize Workbench.

Formatting tweaking to look good on github.

Added more links to information in README.

Added a README with pointers to the documentation, COPYING with license information, the relevant licenses, as well as a license section to the user guide.

Fix crash in render_error(not_an_exception), and use raise() rather
than calling render_error() directly from ApplicationController#save
and #update

Add sqlite3 to Gemfile so database.yml.sample works unmodified

Fix configured uuid_prefix and force_ssl getting overwritten by application.rb

Remove some stumbling blocks in default/example configs

Fixed typo in secret_token.rb

Updated workbench documentation.

Working on improving install documentation.

Added section on setting up SSO server

Adds scopes: ["all"] when creating a new api client authorization, because database schema does not permit have a null scopes column.

Replaces postgres-specific 'now()' with standard SQL CURRENT_TIMESTAMP
Render checks that opts which are passed in are valid before trying to use it.

URL change for the auth server.

Fix links to docs in workbench

Update Gemfile to use latest arv-run-pipeline

Bump versions, change optional=false to required=true, set dataclass
for bwa-aln input.

Fix giving up on a pipeline prematurely when a component is waiting
for an output produced by a component later in the components.each()
loop.

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Merge branch '2107-update-documentation'

doc: Note warning for get one collection block.

Added per discussion with Tom.  We're also interested in fixing the
warning, but in the meantime, this is worth documenting.

doc: Improve "How Keep Works" flow.

This addresses the fact that this page was broken off from the
original Keep tutorial page.

Merge branch 'master' of git.clinicalfuture.com:arvados

doc: Make CLI pipeline run up-to-date.

This refreshes Keep hashes and the output format of `arv pipeline run`.

doc: Improve flow of CLI pipeline run.

The previous version assumed that we already had a static pipeline
template.  That's no longer true under the current flow, so instruct
the user to make one at the start of the tutorial.

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Bugfixes to provenance graph:
* Fixed url generation to use correct protocol (http/https)
* Fixed generic node description
* Fixed direction of provenance graph

Report error message and propagate exit code if subprocess.call() fails.

Update instructions to use build.sh. (refs #2221)

doc: Consistent style in outside program tutorial.

doc: Consistent style in new pipeline tutorial.

doc: Small bugfixes for first pipeline template.

Ran linkchecker and fixed links.

Added liquid template to link to next and previous pages.

Fix user_agreements/sign* routing again.

Fix route method on user_agreements/sign.

doc: Bold `you` in tutorial-parallel's job spec.

doc: Fix hello-world-fixed.py name in job-debug.

doc: Consistent style for `you` in job-debug.

doc: Update job1's expected output.

Pete changed this script so that the output filename has a leading
`./`.  This commit updates the tutorial to match.

doc: Highlight `you` in the first script job spec.

doc: Suggest setting User in .ssh/config.

Update comment to refer to correct default-config file.

Fix left nav order in Install section.

Add api server package dependencies and update config instructions.

Removed h1. titles from pages because it is now part of the page template.

More documentation updates and reorganization.

Remove PYTHONPATH hack.

Finished first draft of tutorial running pipeline from workbench.

Reorganizing documentation work in progress, checkpointing so that Brett can start looking through it.

Add instructions for installing with new versions of pip.

Fix namespace bug in write_directory_tree(max_manifest_depth=0).

Add python-pip to Python SDK install dependencies

Add arvados-cli dependency to Gemfile.

Merge branch '2042-new-collection-from-selected-files'

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Removed out of order link to next tutorial.