3859: Add --local-job to explicitly specify whether job is "local" or not.  Fix
overly clever code to count number of successes/failures in
arv-run-pipeline-instance.

3859: Move job locking up earlier in crunch-job.  Don't try to lock the job
when running locally.

Merge branch 'master' into 3859-crunch-job-use-lock

Conflicts:
sdk/cli/bin/crunch-job

Merge branch '3899-crunch-use-job-state' closes #3899

3899: Uncomment line that was commented out for debugging and committed by mistake.

3899: pipeline_instances_helper: Don't set :state if it's already set.  Add newline to jobs.yml.

Merge branch '3168-crunch-git-fetch' closes #3168

Remove useless take() and untake() methods.

3168: Instead of crashing using save! log an error and go to the next job.

Merge remote-tracking branch 'origin/master' into 3899-crunch-use-job-state

3899: jobs_controller uses state = Queued instead of multiple state columns.
Updated fixture so that tests pass.

Merge branch '3991-docker-workbench-address' closes #3991

3991: Merge branch 'master' into 3991-docker-workbench-address

3168: Fail on git tag collision instead of putting job back into the queue.

3899: Set :state in pipeline_instance_helper.rb and remove Job::state.

3991: Fix config checks in admin_notifier.

3991: Change docker default to "no root url redirect". Make "not found" message more friendly.

3988: Add note to Job.state.  Replace logic to compute state based on
success/running columns with the same logic as used on apiserver.

bug fix: args_retries => args.retries

No issue #

3899: Shorten count of ended/succeed/failed in a-r-p-i with some clever Ruby.
Improve reporting to test for state == Cancelled instead of looking at
cancelled_at, and distinguish between cancelled the state being unexpectedly
changed to success/failed.  pipeline_instances_helper uses state attribute.

3991: Use db:structure:load and db:seed instead of db:setup: the database already exists here.

3991: Handle "no workbench_address configured" more gracefully.

* Remove example config from default production section.
* Follow config rule: false = feature disabled, nil = sysadmin error.
* Respond 404 at root url if no workbench_address is configured.
* Never redirect to workbench if client requested JSON.

3991: Run passenger script using bundle exec.

Passenger was installed in a previous step, but that was done using
"bundle install", which installs into ./vendor/bundle instead of a
system-wide install dir. This way, we install the passenger version
listed in services/api/Gemfile.lock instead of installing some other
version (or failing completely).

3991: Set workbench_address in docker config.

3859: Fix checking for errors in eval{}

3859: Use eval {} to catch error when locking the job.

In our docker jobs image: use our debian packages for the python sdk and
fuse driver.

No issue #

In our docker base image: do not rely on pgp.mit.edu, use
pool.sks-keyservers.net instead.

No issue #

3859: crunch-job use apiserver Job lock method instead of racy is_locked_by.

3988: Job.queue uses "state = Queued" instead of previous multi-column-null test.

3168: Check internal git repository if the commit already exists before calling
fetch-pack.  Check if a job tag has already been created or not, and if the tag
already exists, that it points to the expected commit.

refs #3889: Merge monkey patch code updates to detect tests that are reusing ActionController::TestCase.
For now, print warning instead of raising error. After the tests are corrected, we can change this behavior to raise an error.
Merge branch '3889-functional-testing'

Merge branch 'master' into 3889-functional-testing

API server: setting workbench_address is not required. This unbreaks the
docker build for the api server image.

refs #3038

Protect the one place in the api server code where we assume the
workbench_address parameter is always set, it is in fact optional.

refs #3038

Merge branch 'master' into 3889-functional-testing

Merge branch '3960-show-more-repos' closes #3960

3960: Merge branch 'master' into 3960-show-more-repos

Merge branch '2881-node-has-job-wip'

Refs #2881.  Closes #3944.

2881: crunch-dispatch updates nodes' job assignments.

With this commit, crunch-dispatch updates all the information that
update_node_attributes used to, so it's removed.

2881: API server associates nodes with their assigned jobs.

This will enable us to write better administrative tools (like the
Node Manager) and dashboards.

Merge branch '3413-keep-trash-list'

Closes #3413.

3899: crunch-dispatch uses state column to mark crashed jobs as failed.

Merge remote-tracking branch 'origin/master' into 3988-crunch-use-job-state

3899: Fix syntax errors in arv-run-pipeline-instance, and update job record if
job is queued or running.

Merge branch 'master' into 3889-functional-testing

closes #3038
Merge branch '3038-default-port-numbers'

3889: update test_helper.rb with Tom's updates.

3988: look at job state instead of cancelled_at to determine if the job should
be stopped.

3988: Update crunch-job, arv-run-pipeline-instance and workbench to read/write
"state" field of jobs instead of using running/success (+
cancelled_at/started_at/finished_at) to figure out what state the job is in.

Merge branch '3889-functional-testing-TC' into 3889-functional-testing

Merge branch 'master' into 3889-functional-testing

3038: address review feeback; change the config parametter values in default yml files to avoid conflicts

3413: code review update

3889: Clean up counter checks. For now, warn instead of failing.

3038: revert update to remove implementation that was accidentatlly pushed to this branch instead of 3836 branch!

Merge branch 'master' into 3038-default-port-numbers

3038: if there is a unique constraint violation when a collection is removed from a project,
which happens if there is already a collection with that same name in the Home project,
rename the collection to ensure the removal process can complete.

Merge branch '3967-improve-keepstore-logging'

refs #3967

Fix typos in workbench language.

No issue #

Make keepstore log normal operation with more detail, and follow the
standard apache logging pattern.

refs #3967

3960: Fix readonly/writable flag on repo list. Add tests.

* Do not blow up when arv-get requests a collection that gets a 404 from the api server.

* Be more consistent in naming of error variables.

no issue #

Bugfix time display, also bugfix for job state "Completed" -> "Complete".  refs #3187

Bugfix extra space in display in render_runtime and queued time for pipeline.
refs #3187

3960: Make editable? return false or true, never nil.

3960: Remove unused has_permission? method.

Merge branch '3605-improved-dashboard' refs #3605

3605: Remove total nodes from compute summary table.

Merge branch 'master' into 3038-default-port-numbers

3038: test needed minor update to match current pipeline instance display.

Merge remote-tracking branch 'origin/master' into 3605-improved-dashboard

3605: Rename "default_show" to "title_and_buttons".  Revert capitalization
change to "curl".  Eliminate excess top margin on page title.  Restored
RunningOnClient to running list.

3038: Recommended default port number related update. Now the defaults are as follows:
API server (dev mode): 3030
API server (test mode): 3000
Workbench (dev mode): 3031
Workbench (test mode): 3001

3605: Filter out nodes that have a last ping time of more than 1 hour.  Add
queue to compute status panel.  Refactor utc-date spans to
render_localized_date().

Report crunch_worker_state=down for nodes not occupying a worker slot. refs #3605

3605: Fallback to 0 (instead of nil) when tasks is empty

3605: Check that a pipeline component entry is a hash before trying to render it.

Revert "Bugfix: do not try to overwrite docker_image_locator if it is already set." refs #3898

This reverts commit 7e27eb2cca7e9e22ad1f56a6f0ecbbc40ad4cb64.

Merge branch '3898-job-state-attr-TC' closes #3898

3898: Merge branch 'master' into 3898-job-state-attr-TC

3898: Assume a job Failed if it has started but state fields indicate Queued.

3898: Assume a job Failed if it is locked but state fields indicate Queued.

Bugfix: do not try to overwrite docker_image_locator if it is already set.

refs #3898

3605: fix test text

3605: Make compute node summary table no longer clickable since it was a little
bit confusing.  Can still click on the titlebar.

3605: Render individual job status using the same partial as the pipeline
instance page.  Also list pipelines that reference this job.

3898: Update tests to match the updated job status handling.

Merge branch '3894-gem-version' refs #3894

3894: Set arvados version in Gemfile.lock to one that exists.

3605: More improvements to overflow rendering.  More fixes to rendering when
started_at and finished_at are missing.

3898: Populate state column using SQL transaction instead of load/save N times.

3605: Change runtime() to render_runtime().  Improve rendering when started_at
and finished_at are missing from pipelines and tasks.  Include count of days
when rendering run times.  Add comments.

3898: Add error messages to assertions. Use assert_raise.

3898: Clean up job state hooks and validations.

3413: code review

3413: update for code review

3894: Merge branch 'master' into 3894-gem-version

3605: Additional layout fixes.  Better handling of pipelines where started_at and finished_at is missing or bogus.

3894: Remove outdated README.