3991: Handle "no workbench_address configured" more gracefully.

* Remove example config from default production section.
* Follow config rule: false = feature disabled, nil = sysadmin error.
* Respond 404 at root url if no workbench_address is configured.
* Never redirect to workbench if client requested JSON.

3991: Run passenger script using bundle exec.

Passenger was installed in a previous step, but that was done using
"bundle install", which installs into ./vendor/bundle instead of a
system-wide install dir. This way, we install the passenger version
listed in services/api/Gemfile.lock instead of installing some other
version (or failing completely).

3991: Set workbench_address in docker config.

Setting running = false is ok for successful jobs, so take out extra exit_code == 0 check.

Merge branch 'master' into 3889-functional-testing

3889: Since all failing API server functional tests are fixed, update test_helper to fail any future tests that execute multiple acions in one single functional test.

3889: update the test "use ownership and permission links to determine which logs a user can see" to account for the newly added log fixture.

3889: split the test "get all pages of group-owned objects" into multiple tests that pull pages with offset of 5.

3901: improve component rendering error reports

The "Components" tab on the /pipeline_instances page now includes the
error that was encountered, and a collapsed panel with the full backtrace.

3859: Check crunch-job return code properly.  Restore job state change
validation.

In our docker jobs image: use our debian packages for the python sdk and
fuse driver.

No issue #

In our docker base image: do not rely on pgp.mit.edu, use
pool.sks-keyservers.net instead.

No issue #

3889: add the job fixture "job_with_unnormalized_output_and_log"

3889: split the test "normalize output and log uuids when creating job" into two tests:
1) that creates a job with unnormalized output and log and verifies that normalization happened and
2) that updates a job with unnormalized output and log (a fixture) with normalized output and log.

3889: split the test "update a job without failing script_version check" into two tests instead of two action in one test.

3889: split the test "cancel a running job" into two tests: one that cancels a running job and another that cancels an already cancelled job.

3889: split test doing post and get requests into two different tests by using a fixture.

3889: break the "add keep disk with no filesystem_uuid" test into two tests, instead of doing two post actions in the same test.

3889: fix tests that were doing multiple actions in one test.

3889: update the test "non-admin user can limit index" to perform the limit check in two tests rather than twice in one test.

3859: Removed validate state change (not the fight with crunch-job)

3889: split the test "setup user in multiple steps and verify response" into multiple tests invoking setup on active user,
rather than perform three setup actions in one test.

3859: Implement Job lock method on api server.  This takes a queued job and
uses a transaction to set it as running without creating a race condition.

3889: remove the functional test "setup and unsetup user" that is performing two actions in one test,
since other tests in this file already cover the two actions and hence this test is not reduntant.

3988: Job.queue uses "state = Queued" instead of previous multi-column-null test.

3889: fix a few tests that were performing multiple actions on a single instance of TestCase object.

3889: Fix two functional tests that were performing multiple actions on a single instance of TestCase object.

3168: Check internal git repository if the commit already exists before calling
fetch-pack.  Check if a job tag has already been created or not, and if the tag
already exists, that it points to the expected commit.

refs #3889: Merge monkey patch code updates to detect tests that are reusing ActionController::TestCase.
For now, print warning instead of raising error. After the tests are corrected, we can change this behavior to raise an error.
Merge branch '3889-functional-testing'

Merge branch 'master' into 3889-functional-testing

API server: setting workbench_address is not required. This unbreaks the
docker build for the api server image.

refs #3038

Protect the one place in the api server code where we assume the
workbench_address parameter is always set, it is in fact optional.

refs #3038

Merge branch 'master' into 3889-functional-testing

Merge branch 'master' into 3836-remove-collection-from-project-bug

3836: update the fuse test to expect the newly added collections.

Merge branch '3960-show-more-repos' closes #3960

3836: if rescued an error other than unique constraint violation, raise it back.

3836: minor update to test assertion

3836: add integration test to verify name change when a collection is removed from a project,
and another collection with the same name already exists in the home project.

3960: Merge branch 'master' into 3960-show-more-repos

Merge branch '2881-node-has-job-wip'

Refs #2881.  Closes #3944.

2881: crunch-dispatch updates nodes' job assignments.

With this commit, crunch-dispatch updates all the information that
update_node_attributes used to, so it's removed.

2881: API server associates nodes with their assigned jobs.

This will enable us to write better administrative tools (like the
Node Manager) and dashboards.

Merge branch '3413-keep-trash-list'

Closes #3413.

3899: crunch-dispatch uses state column to mark crashed jobs as failed.

Merge remote-tracking branch 'origin/master' into 3988-crunch-use-job-state

3899: Fix syntax errors in arv-run-pipeline-instance, and update job record if
job is queued or running.

Merge branch 'master' into 3889-functional-testing

Merge branch 'master' into 3836-remove-collection-from-project-bug

closes #3038
Merge branch '3038-default-port-numbers'

3889: update test_helper.rb with Tom's updates.

3988: look at job state instead of cancelled_at to determine if the job should
be stopped.

3988: Update crunch-job, arv-run-pipeline-instance and workbench to read/write
"state" field of jobs instead of using running/success (+
cancelled_at/started_at/finished_at) to figure out what state the job is in.

Merge branch '3889-functional-testing-TC' into 3889-functional-testing

Merge branch 'master' into 3889-functional-testing

3038: address review feeback; change the config parametter values in default yml files to avoid conflicts

3413: code review update

3889: Clean up counter checks. For now, warn instead of failing.

3038: revert update to remove implementation that was accidentatlly pushed to this branch instead of 3836 branch!

3836: if there is a unique constraint violation when a collection is removed from a project,
which happens if there is already a collection with that same name in the Home project,
rename the collection to ensure the removal process can complete.

Merge branch 'master' into 3038-default-port-numbers

3038: if there is a unique constraint violation when a collection is removed from a project,
which happens if there is already a collection with that same name in the Home project,
rename the collection to ensure the removal process can complete.

Merge branch '3967-improve-keepstore-logging'

refs #3967

Fix typos in workbench language.

No issue #

Make keepstore log normal operation with more detail, and follow the
standard apache logging pattern.

refs #3967

3960: Fix readonly/writable flag on repo list. Add tests.

* Do not blow up when arv-get requests a collection that gets a 404 from the api server.

* Be more consistent in naming of error variables.

no issue #

Bugfix time display, also bugfix for job state "Completed" -> "Complete".  refs #3187

Bugfix extra space in display in render_runtime and queued time for pipeline.
refs #3187

3960: Make editable? return false or true, never nil.

3960: Remove unused has_permission? method.

Merge branch '3605-improved-dashboard' refs #3605

3605: Remove total nodes from compute summary table.

Merge branch 'master' into 3038-default-port-numbers

3038: test needed minor update to match current pipeline instance display.

Merge remote-tracking branch 'origin/master' into 3605-improved-dashboard

3605: Rename "default_show" to "title_and_buttons".  Revert capitalization
change to "curl".  Eliminate excess top margin on page title.  Restored
RunningOnClient to running list.

3038: Recommended default port number related update. Now the defaults are as follows:
API server (dev mode): 3030
API server (test mode): 3000
Workbench (dev mode): 3031
Workbench (test mode): 3001

3605: Filter out nodes that have a last ping time of more than 1 hour.  Add
queue to compute status panel.  Refactor utc-date spans to
render_localized_date().

Report crunch_worker_state=down for nodes not occupying a worker slot. refs #3605

3605: Fallback to 0 (instead of nil) when tasks is empty

3605: Check that a pipeline component entry is a hash before trying to render it.

Revert "Bugfix: do not try to overwrite docker_image_locator if it is already set." refs #3898

This reverts commit 7e27eb2cca7e9e22ad1f56a6f0ecbbc40ad4cb64.

Merge branch '3898-job-state-attr-TC' closes #3898

3898: Merge branch 'master' into 3898-job-state-attr-TC

3898: Assume a job Failed if it has started but state fields indicate Queued.

3898: Assume a job Failed if it is locked but state fields indicate Queued.

Bugfix: do not try to overwrite docker_image_locator if it is already set.

refs #3898

3605: fix test text

3605: Make compute node summary table no longer clickable since it was a little
bit confusing.  Can still click on the titlebar.

3605: Render individual job status using the same partial as the pipeline
instance page.  Also list pipelines that reference this job.

3898: Update tests to match the updated job status handling.

Merge branch '3894-gem-version' refs #3894

3894: Set arvados version in Gemfile.lock to one that exists.

3605: More improvements to overflow rendering.  More fixes to rendering when
started_at and finished_at are missing.

3898: Populate state column using SQL transaction instead of load/save N times.

3605: Change runtime() to render_runtime().  Improve rendering when started_at
and finished_at are missing from pipelines and tasks.  Include count of days
when rendering run times.  Add comments.

3898: Add error messages to assertions. Use assert_raise.

3898: Clean up job state hooks and validations.

3413: code review