Merge branch 'master' into 3836-remove-collection-from-project-bug

closes #3038
Merge branch '3038-default-port-numbers'

3038: address review feeback; change the config parametter values in default yml files to avoid conflicts

3038: revert update to remove implementation that was accidentatlly pushed to this branch instead of 3836 branch!

3836: if there is a unique constraint violation when a collection is removed from a project,
which happens if there is already a collection with that same name in the Home project,
rename the collection to ensure the removal process can complete.

Merge branch 'master' into 3038-default-port-numbers

3038: if there is a unique constraint violation when a collection is removed from a project,
which happens if there is already a collection with that same name in the Home project,
rename the collection to ensure the removal process can complete.

Merge branch '3967-improve-keepstore-logging'

refs #3967

Fix typos in workbench language.

No issue #

Make keepstore log normal operation with more detail, and follow the
standard apache logging pattern.

refs #3967

* Do not blow up when arv-get requests a collection that gets a 404 from the api server.

* Be more consistent in naming of error variables.

no issue #

Bugfix time display, also bugfix for job state "Completed" -> "Complete".  refs #3187

Bugfix extra space in display in render_runtime and queued time for pipeline.
refs #3187

Merge branch '3605-improved-dashboard' refs #3605

3605: Remove total nodes from compute summary table.

Merge branch 'master' into 3038-default-port-numbers

3038: test needed minor update to match current pipeline instance display.

Merge remote-tracking branch 'origin/master' into 3605-improved-dashboard

3605: Rename "default_show" to "title_and_buttons".  Revert capitalization
change to "curl".  Eliminate excess top margin on page title.  Restored
RunningOnClient to running list.

3038: Recommended default port number related update. Now the defaults are as follows:
API server (dev mode): 3030
API server (test mode): 3000
Workbench (dev mode): 3031
Workbench (test mode): 3001

3605: Filter out nodes that have a last ping time of more than 1 hour.  Add
queue to compute status panel.  Refactor utc-date spans to
render_localized_date().

Report crunch_worker_state=down for nodes not occupying a worker slot. refs #3605

3605: Fallback to 0 (instead of nil) when tasks is empty

3605: Check that a pipeline component entry is a hash before trying to render it.

Revert "Bugfix: do not try to overwrite docker_image_locator if it is already set." refs #3898

This reverts commit 7e27eb2cca7e9e22ad1f56a6f0ecbbc40ad4cb64.

Merge branch '3898-job-state-attr-TC' closes #3898

3898: Merge branch 'master' into 3898-job-state-attr-TC

3898: Assume a job Failed if it has started but state fields indicate Queued.

3898: Assume a job Failed if it is locked but state fields indicate Queued.

Bugfix: do not try to overwrite docker_image_locator if it is already set.

refs #3898

3605: fix test text

3605: Make compute node summary table no longer clickable since it was a little
bit confusing.  Can still click on the titlebar.

3605: Render individual job status using the same partial as the pipeline
instance page.  Also list pipelines that reference this job.

3898: Update tests to match the updated job status handling.

Merge branch '3894-gem-version' refs #3894

3894: Set arvados version in Gemfile.lock to one that exists.

3605: More improvements to overflow rendering.  More fixes to rendering when
started_at and finished_at are missing.

3898: Populate state column using SQL transaction instead of load/save N times.

3605: Change runtime() to render_runtime().  Improve rendering when started_at
and finished_at are missing from pipelines and tasks.  Include count of days
when rendering run times.  Add comments.

3898: Add error messages to assertions. Use assert_raise.

3898: Clean up job state hooks and validations.

3894: Merge branch 'master' into 3894-gem-version

3605: Additional layout fixes.  Better handling of pipelines where started_at and finished_at is missing or bogus.

3894: Remove outdated README.

3894: Use git log --first-parent to get nearest commit/merge on
current branch to label package version, rather than nearest
commit. This ensures the package version number increases when an
older commit is merged after a newer commit.

Merge branch '3605-improved-dashboard' refs #3605

3605: Fix tab param['tab_pane'] merge conflicts causing tests to fail.

3605: Fix tab_pane rendering.  Remove spurious console.log.

3894: Merge branch 'master' into 3894-gem-version

3894: Fix up runtime dependency specs to make bundle comfortable.

Merge remote-tracking branch 'origin/master' into 3605-improved-dashboard

refs #3898
Merge branch '3898-job-state-attr'

Merge branch 'master' into 3898-job-state-attr

3898: added include statement

Merge branch '3705-async-work-queue'

Refs #3705.

3705: rename BlockWorkList -> WorkQueue

Per discussion at
https://github.com/curoverse/arvados/pull/8#discussion_r17637500

refs #3705.

Merge branch '3187-pipeline-instance-page' into 3605-improved-dashboard

Conflicts:
apps/workbench/app/models/job.rb

Fix Canceled -> Cancelled (american vs canadian spelling, canada wins)

closes #3898
Merge branch '3898-job-state-attr'

Merge branch 'master' into 3187-pipeline-instance-page

Conflicts:
apps/workbench/app/models/job.rb
apps/workbench/app/views/application/_content.html.erb
services/api/app/models/job.rb

Merge branch 'master' into 3898-job-state-attr

Fix Gemfile.lock to use a real gem, not a dev build. refs #3550

Use new --run-pipeline-here instead of --run-here flag, which no longer does what crunch-dispatch wants. refs #3550

Merge branch 'master' into 3898-job-state-attr

Conflicts:
services/api/db/structure.sql

3898: cancelled_at takes precedence over success flag.

3894: gem version numbers reflect latest commit in the subdirectory
where the gem content comes from.

Even if there are more recent commits elsewhere in the source tree,
those changes won't be reflected in the package so there's no need to
increment the package version.

In addition to avoiding the proliferation of packages with no changes
other than the version number, this makes it possible to change an
SDK, predict the gem version that the CI server will build, refer to
that version in a Gemfile elsewhere in the source tree, and push both
changes at once -- without time travel.

Bug fix: migration requires CurrentApiClient

Migration 20140918141529_change_user_owner_uuid_not_null requires
system_user_uuid, which is defined in CurrentApiClient.

No issue # (bug fix)

3898: look for success before running.

3898: couple more test assertions

3898: if state is changed to Running and is_locked_by_uuid is nil, return validation error.

3898: set finished_at if nil when success is changed.

Merge branch 'master' into 3898-job-state-attr

3898: add unit test for job state attribute

3605: Workbench tests pass!

3147: FUSE requires a built Python SDK.

Unlike our Ruby Gems, Python package versioning is sensitive to
commits that actually affect the package, rather than the entire
arvados repository.  On the plus side, this makes it a little easier
to reliably name a package version that meets our requirements.  This
commit does that.  Refs #3147.

Merge branch '3661-copy-move-from-show' refs #3661

Merge branch 'master' into 3661-copy-move-from-show

Merge branch '3901-cannot-find-commit' refs #3901

3147: Rebuild the Python SDK to satisfy FUSE version requirement.

When I wrote the FUSE driver's version dependency, I did my math
wrong, and it's newer than any version of the SDK.  This commit will
cause a new SDK to be built with a new version number that satisfies
the dependency.  Refs #3147.

3901: Add missing error checks while copying git objects.

3661: visual bug fix: button should be a link

Merge branch '3147-py-collection-retries-wip2'

Closes #3147.

3147: crunch-job retries data uploads more for longer-running jobs.

3147: Add retry support to FUSE driver.

3147: FUSE driver requires a Python SDK with retry support.

I also took out some of the older log-handling code while I was at it,
since the stricter versioning makes it unnecessary.

3147: Add retry support to PySDK list_all utility.

3147: Add retry support to Python CLI tools.

3147: Add retry support to PySDK Collection objects.

This required updating the FUSE driver's SafeApi object to better
imitate a real API object, now that CollectionReader will pass it down
to the underlying KeepClient.

3147: Add retry support to PySDK StreamReader classes.

3147: Make PySDK KeepClient.get and put retry_methods.

3147: Add retry_method to the Python SDK.

This gives us a way to make retry support flexible and consistent
across SDK classes.  Any class that has retryable operations should
take a num_retries argument at initialization.  Then, the specific
methods that implement those operations should also take a num_retries
argument, which will fall back to the instance's setting by default.
This lets SDK users express their retry preferences wherever it's most
convenient for them.

3147: Fix variable name typo.

This variable was renamed in previous branch work, but this last user
of it wasn't caught until just now.

3147: PySDK StreamReader instantiates a KeepClient late.

Similarly with API client instantiation in KeepClient, this helps with
testing.  Refs #3693.

3147: Move PySDK HTTP test infrastructure to testutil.

Making this available to other test collections.

3147: PySDK tests use mock>=1.0 and easier mock side_effect.

3898: db migration to add state attribute to job.

Merge branch 'master' into 3661-copy-move-from-show

Conflicts:
apps/workbench/app/assets/javascripts/selection.js.erb
apps/workbench/test/integration/collections_test.rb

Merge branch '3338-tab-counts' refs #3338

Merge branch 'master' into 3338-tab-counts

Merge branch 'master' into 3605-improved-dashboard

Conflicts:
services/api/app/controllers/arvados/v1/jobs_controller.rb