Merge branch '3168-crunch-git-fetch' closes #3168

Remove useless take() and untake() methods.

3168: Instead of crashing using save! log an error and go to the next job.

Merge branch '3991-docker-workbench-address' closes #3991

3991: Merge branch 'master' into 3991-docker-workbench-address

3168: Fail on git tag collision instead of putting job back into the queue.

3991: Fix config checks in admin_notifier.

3991: Change docker default to "no root url redirect". Make "not found" message more friendly.

bug fix: args_retries => args.retries

No issue #

3991: Use db:structure:load and db:seed instead of db:setup: the database already exists here.

3991: Handle "no workbench_address configured" more gracefully.

* Remove example config from default production section.
* Follow config rule: false = feature disabled, nil = sysadmin error.
* Respond 404 at root url if no workbench_address is configured.
* Never redirect to workbench if client requested JSON.

3991: Run passenger script using bundle exec.

Passenger was installed in a previous step, but that was done using
"bundle install", which installs into ./vendor/bundle instead of a
system-wide install dir. This way, we install the passenger version
listed in services/api/Gemfile.lock instead of installing some other
version (or failing completely).

3991: Set workbench_address in docker config.

In our docker jobs image: use our debian packages for the python sdk and
fuse driver.

No issue #

In our docker base image: do not rely on pgp.mit.edu, use
pool.sks-keyservers.net instead.

No issue #

3168: Check internal git repository if the commit already exists before calling
fetch-pack.  Check if a job tag has already been created or not, and if the tag
already exists, that it points to the expected commit.

refs #3889: Merge monkey patch code updates to detect tests that are reusing ActionController::TestCase.
For now, print warning instead of raising error. After the tests are corrected, we can change this behavior to raise an error.
Merge branch '3889-functional-testing'

Merge branch 'master' into 3889-functional-testing

API server: setting workbench_address is not required. This unbreaks the
docker build for the api server image.

refs #3038

Protect the one place in the api server code where we assume the
workbench_address parameter is always set, it is in fact optional.

refs #3038

Merge branch 'master' into 3889-functional-testing

Merge branch '3960-show-more-repos' closes #3960

3960: Merge branch 'master' into 3960-show-more-repos

Merge branch '2881-node-has-job-wip'

Refs #2881.  Closes #3944.

2881: crunch-dispatch updates nodes' job assignments.

With this commit, crunch-dispatch updates all the information that
update_node_attributes used to, so it's removed.

2881: API server associates nodes with their assigned jobs.

This will enable us to write better administrative tools (like the
Node Manager) and dashboards.

Merge branch '3413-keep-trash-list'

Closes #3413.

Merge branch 'master' into 3889-functional-testing

closes #3038
Merge branch '3038-default-port-numbers'

3889: update test_helper.rb with Tom's updates.

Merge branch '3889-functional-testing-TC' into 3889-functional-testing

Merge branch 'master' into 3889-functional-testing

3038: address review feeback; change the config parametter values in default yml files to avoid conflicts

3413: code review update

3889: Clean up counter checks. For now, warn instead of failing.

3038: revert update to remove implementation that was accidentatlly pushed to this branch instead of 3836 branch!

Merge branch 'master' into 3038-default-port-numbers

3038: if there is a unique constraint violation when a collection is removed from a project,
which happens if there is already a collection with that same name in the Home project,
rename the collection to ensure the removal process can complete.

Merge branch '3967-improve-keepstore-logging'

refs #3967

Fix typos in workbench language.

No issue #

Make keepstore log normal operation with more detail, and follow the
standard apache logging pattern.

refs #3967

3960: Fix readonly/writable flag on repo list. Add tests.

* Do not blow up when arv-get requests a collection that gets a 404 from the api server.

* Be more consistent in naming of error variables.

no issue #

Bugfix time display, also bugfix for job state "Completed" -> "Complete".  refs #3187

Bugfix extra space in display in render_runtime and queued time for pipeline.
refs #3187

3960: Make editable? return false or true, never nil.

3960: Remove unused has_permission? method.

Merge branch '3605-improved-dashboard' refs #3605

3605: Remove total nodes from compute summary table.

Merge branch 'master' into 3038-default-port-numbers

3038: test needed minor update to match current pipeline instance display.

Merge remote-tracking branch 'origin/master' into 3605-improved-dashboard

3605: Rename "default_show" to "title_and_buttons".  Revert capitalization
change to "curl".  Eliminate excess top margin on page title.  Restored
RunningOnClient to running list.

3038: Recommended default port number related update. Now the defaults are as follows:
API server (dev mode): 3030
API server (test mode): 3000
Workbench (dev mode): 3031
Workbench (test mode): 3001

3605: Filter out nodes that have a last ping time of more than 1 hour.  Add
queue to compute status panel.  Refactor utc-date spans to
render_localized_date().

Report crunch_worker_state=down for nodes not occupying a worker slot. refs #3605

3605: Fallback to 0 (instead of nil) when tasks is empty

3605: Check that a pipeline component entry is a hash before trying to render it.

Revert "Bugfix: do not try to overwrite docker_image_locator if it is already set." refs #3898

This reverts commit 7e27eb2cca7e9e22ad1f56a6f0ecbbc40ad4cb64.

Merge branch '3898-job-state-attr-TC' closes #3898

3898: Merge branch 'master' into 3898-job-state-attr-TC

3898: Assume a job Failed if it has started but state fields indicate Queued.

3898: Assume a job Failed if it is locked but state fields indicate Queued.

Bugfix: do not try to overwrite docker_image_locator if it is already set.

refs #3898

3605: fix test text

3605: Make compute node summary table no longer clickable since it was a little
bit confusing.  Can still click on the titlebar.

3605: Render individual job status using the same partial as the pipeline
instance page.  Also list pipelines that reference this job.

3898: Update tests to match the updated job status handling.

Merge branch '3894-gem-version' refs #3894

3894: Set arvados version in Gemfile.lock to one that exists.

3605: More improvements to overflow rendering.  More fixes to rendering when
started_at and finished_at are missing.

3898: Populate state column using SQL transaction instead of load/save N times.

3605: Change runtime() to render_runtime().  Improve rendering when started_at
and finished_at are missing from pipelines and tasks.  Include count of days
when rendering run times.  Add comments.

3898: Add error messages to assertions. Use assert_raise.

3898: Clean up job state hooks and validations.

3413: code review

3413: update for code review

3894: Merge branch 'master' into 3894-gem-version

3605: Additional layout fixes.  Better handling of pipelines where started_at and finished_at is missing or bogus.

3894: Remove outdated README.

3894: Use git log --first-parent to get nearest commit/merge on
current branch to label package version, rather than nearest
commit. This ensures the package version number increases when an
older commit is merged after a newer commit.

Merge branch '3605-improved-dashboard' refs #3605

3605: Fix tab param['tab_pane'] merge conflicts causing tests to fail.

3889: update ActionController::TestCase to monkey patch GET/POST/PUT/DELETE methods

3605: Fix tab_pane rendering.  Remove spurious console.log.

3894: Merge branch 'master' into 3894-gem-version

3894: Fix up runtime dependency specs to make bundle comfortable.

Merge remote-tracking branch 'origin/master' into 3605-improved-dashboard

3413: added TrashHandler

* added a trashq WorkQueue to manage the trash list
* added TrashHandler to process "PUT /trash" requests
* added TestTrashHandler

refs #3898
Merge branch '3898-job-state-attr'

Merge branch 'master' into 3898-job-state-attr

3898: added include statement

Merge branch '3705-async-work-queue'

Refs #3705.

3705: rename BlockWorkList -> WorkQueue

Per discussion at
https://github.com/curoverse/arvados/pull/8#discussion_r17637500

refs #3705.

Merge branch '3187-pipeline-instance-page' into 3605-improved-dashboard

Conflicts:
apps/workbench/app/models/job.rb

Fix Canceled -> Cancelled (american vs canadian spelling, canada wins)

closes #3898
Merge branch '3898-job-state-attr'

Merge branch 'master' into 3187-pipeline-instance-page

Conflicts:
apps/workbench/app/models/job.rb
apps/workbench/app/views/application/_content.html.erb
services/api/app/models/job.rb

Merge branch 'master' into 3898-job-state-attr

Fix Gemfile.lock to use a real gem, not a dev build. refs #3550