Merge branch '2278-crunch-dispatcher-monitor-processes'

Silly git staging.

- Made a note about intentionally not setting "success"
- Changed if c[:job][:success] == false to elsif
- Changed == nil to .nil?
- Removed whitespace

* Allow the system user to update job columns, even if the job is "locked"
* Once the job process completes, automatically mark "job.running = false" and set "job.finished_at" if not set
* Exclude jobs from the queue where the "success" field is already set
* Consider a pipeline to be failed if any of the component jobs are marked as failed

Merge remote-tracking branch 'origin/master' into 2075-workbench-paging

Conflicts:
services/api/app/controllers/arvados/v1/schema_controller.rb

Merge branch '2257-inequality-conditions'

closes #2257

Add "filters" param to discovery document, add deprecation note to
"where" param description.

api: Improve compute_node_domain handling.

The default value was causing test failures on my machine because the
ERB evaluated to an empty string.  And we want to avoid this causing
any DNS lookups during tests.  Now we make the default false (in line
with our other compute_node_* settings), and suggest a change in
application.yml.example to demonstrate how it should be set.

I also fixed up the example about compute_node_nameservers while I was
at it.

This closes #2351.

Make integer attributes searchable, add test cases.

Merge branch 'master' into 2257-inequality-conditions

Added "Displaying X of Y out of Z"
Improved links to adjacent pages

* Added support for offset and limit query parameters (?limit=x&offset=y) to workbench index pages.
* Created _paging partial for rendering forward/backward/jump to page N
* Added paging to generic index page, index pages for collections, pipeline instances, pipeline templates, groups.

Filters out "show", "index" and "destroy" methods from discovery document generation because they are
redundant with "get", "list" and "delete".

Added offset to 'list' method on resources.
Added "offset" and "limit" fields to the response.
Removed "next_page_token" and "next_link" fields that were not being used.

Fix order of steps in install doc, add git_repositories_dir
instructions, remove troublesome default config.

doc: Make Workbench install guide up-to-date.

* Configure the application with `application.yml` instead of
  `config/environments/*.rb`.

* Consistently capitalize Workbench.

Formatting tweaking to look good on github.

Added more links to information in README.

Added a README with pointers to the documentation, COPYING with license information, the relevant licenses, as well as a license section to the user guide.

Fix crash in render_error(not_an_exception), and use raise() rather
than calling render_error() directly from ApplicationController#save
and #update

Add sqlite3 to Gemfile so database.yml.sample works unmodified

Fix configured uuid_prefix and force_ssl getting overwritten by application.rb

Remove some stumbling blocks in default/example configs

Fixed typo in secret_token.rb

Updated workbench documentation.

Working on improving install documentation.

Added section on setting up SSO server

Adds scopes: ["all"] when creating a new api client authorization, because database schema does not permit have a null scopes column.

Replaces postgres-specific 'now()' with standard SQL CURRENT_TIMESTAMP
Render checks that opts which are passed in are valid before trying to use it.

URL change for the auth server.

Fix links to docs in workbench

Update Gemfile to use latest arv-run-pipeline

Bump versions, change optional=false to required=true, set dataclass
for bwa-aln input.

Fix giving up on a pipeline prematurely when a component is waiting
for an output produced by a component later in the components.each()
loop.

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Merge branch '2107-update-documentation'

doc: Note warning for get one collection block.

Added per discussion with Tom.  We're also interested in fixing the
warning, but in the meantime, this is worth documenting.

doc: Improve "How Keep Works" flow.

This addresses the fact that this page was broken off from the
original Keep tutorial page.

Merge branch 'master' of git.clinicalfuture.com:arvados

doc: Make CLI pipeline run up-to-date.

This refreshes Keep hashes and the output format of `arv pipeline run`.

doc: Improve flow of CLI pipeline run.

The previous version assumed that we already had a static pipeline
template.  That's no longer true under the current flow, so instruct
the user to make one at the start of the tutorial.

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Bugfixes to provenance graph:
* Fixed url generation to use correct protocol (http/https)
* Fixed generic node description
* Fixed direction of provenance graph

Report error message and propagate exit code if subprocess.call() fails.

Update instructions to use build.sh. (refs #2221)

doc: Consistent style in outside program tutorial.

doc: Consistent style in new pipeline tutorial.

doc: Small bugfixes for first pipeline template.

Ran linkchecker and fixed links.

Added liquid template to link to next and previous pages.

Fix user_agreements/sign* routing again.

Fix route method on user_agreements/sign.

doc: Bold `you` in tutorial-parallel's job spec.

doc: Fix hello-world-fixed.py name in job-debug.

doc: Consistent style for `you` in job-debug.

doc: Update job1's expected output.

Pete changed this script so that the output filename has a leading
`./`.  This commit updates the tutorial to match.

doc: Highlight `you` in the first script job spec.

doc: Suggest setting User in .ssh/config.

Update comment to refer to correct default-config file.

Fix left nav order in Install section.

Add api server package dependencies and update config instructions.

Removed h1. titles from pages because it is now part of the page template.

More documentation updates and reorganization.

Remove PYTHONPATH hack.

Finished first draft of tutorial running pipeline from workbench.

Reorganizing documentation work in progress, checkpointing so that Brett can start looking through it.

Add instructions for installing with new versions of pip.

Fix namespace bug in write_directory_tree(max_manifest_depth=0).

Add python-pip to Python SDK install dependencies

Add arvados-cli dependency to Gemfile.

Merge branch '2042-new-collection-from-selected-files'

Merge branch 'master' of git.clinicalfuture.com:arvados

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

Removed out of order link to next tutorial.

Updating and reorganizing tutorials based on new features and feedback.

Rename preload_all_models to zz_* so it runs after load_config.

Default to using a random secret_token in test mode.

Add missing config variable to test.rb.example. Thanks, #2076!

Rename load_config to zz_load_config so initializers/secret_token.rb
gets loaded before we check for missing config settings.

refs #2076

Merge branch '2189-log-in-as-user'

closes #2189

Merge branch '2076-check-config-at-boot'

closes #2076

Merge branch 'master' into 2189-log-in-as-user

Rename config[.defaults].yml to application[.default].yml

Merge branch 'master' into 2076-check-config-at-boot

* Added README with information about building/viewing the docs.
* Added arvados_workbench_host
* Can now specify baseurl, arvados_workbench_host, and arvados_api_host on the command line to override _config.yml
* Added liquid tag {% code 'file' as language %} for syntax highlighting via coderay

Fix incorrect API endpoints in api/schema/

Advertise filters param in discovery doc.

Move where=[] to filters=[]

Support where=[[attr,operator,operand],...] parameter

Merge branch '2049-run-job-from-workbench-correct' of git.clinicalfuture.com:arvados into 2049-run-job-from-workbench-correct

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

render_editable_subattribute() uses link_to_if_arvados_object() if the field is not editable.

* Pipeline components are topologically sorted based on :output_of, then sorted lexically.
* Refactored code to render pipeline components to be consistent across pipeline instance page and pipeline template page.
* Added "pipelines" tab that shows pipelines that were created from the current template.  Uses the pipeline_instances/show_recent partial.

Fix CollectionReader treating any collection with additional +hints as
an empty manifest.

Now, accept hash+size+anyhints as a UUID, and if the argument looks
like neither a UUID nor a manifest, raise an exception instead of
proceeding with undefined results.

We can't have dependencies on unpublished gems checked in; they break
deploy.

Merge branch '1844-blob-signature'

Merge branch 'master' into 1844-blob-signature

Merge remote-tracking branch 'refs/remotes/origin/2049-run-job-from-workbench-TC' into 2049-run-job-from-workbench-correct

Code review for 1844-blob-signature: documentation, slight refactoring (refs #1844)

Merge remote-tracking branch 'origin/master' into 2042-new-collection-from-selected-files

Merge remote-tracking branch 'origin/master' into 2049-run-job-from-workbench-correct

Fix check for crunch-job missing from path, and run it as arv-crunch-job.