5319: Improve collection PDH fix performance with LIKE searches.

PostgreSQL regexp searches use a lot of RAM, and these queries run out
of RAM on qr1hi.  Prefer LIKE queries, which use less RAM and are more
portable.  We have to do multiple searches, but that's life.

refs #5383
Merge branch '5383-api-db-current-time'

Merge branch 'master' into 5383-api-db-current-time

5383: Add back Time.parse(). Without it the value returned would be of the format 2015-03-18 13:37:11 UTC,
and with Time.parse it would be 2015-03-18 09:37:11 -0400, which is the same as Time.now.

Merge branch '5313-node-manager-node-naming-tag-wip'

Refs #5313.  Closes #5434, #5467.

5313: Node Manager has cloud-specific logic to get node FQDNs.

On AWS, we put compute nodes' FQDN in the name field.  On GCE, we
can't do that: it can't contain dots.  Add a node_fqdn classmethod to
cloud drivers to get a node's FQDN from the right place, and use that
method when deciding whether or not to sync a node.

Syncing a node will occasionally raise an "Invalid fingerprint"
exception on GCE.  This is nonfatal.  Add a comment explaining why.

closes #5383
Merge branch '5383-api-db-current-time'

5383: better test assertion

Merge branch 'master' into 5383-api-db-current-time

When copying a collection that already exists on the destination, fetch
manifest text from the destination in order to create a new collection with the
correct signing tokens.  closes #5475

5383: minor test assertion updates

Merge branch 'master' into 5383-api-db-current-time

5383: add one more test that updates an object twice and verifies the updated_at times are different.

5383: remove unused include statement from log_test (it is now the same as in master with no updates in this branch).

Merge branch '5476-connect-timeout-scale' closes #5476

5383: postgres current_timestamp is the start of transaction and clock_timestamp is the current time at the statement execution. updated db_current_time to use  clock_timestamp and reverted back all updates to log_test.rb

5476: Describe timeout behavior if KeepClient.__init__ docstring.

5476: Better implementation of connection timeout scaling.  Updated docstring
for current_timeout.

5476: Increase connection timeout when retrying keep get and put.

5383: revert db_current_time back to Time.now in application_controller as the usages were for error tokens and request profiling only.

5383: revert back db_current_time update to Time.now in api scripts and middleware rb files.

5383: update db_current_time to return date with more precision. Update log_test to use db_current_time instead of Time.now to ensure if there is a slight difference in time between db time and server time, the test does not fail.

Merge branch 'master' into 5383-api-db-current-time

Merge branch '5207-expires-at-time' closes #5207

Merge branch 'master' into 5383-api-db-current-time

Merge branch '5448-crunch-job-task-fixes' refs #5448

5448: Clean up old cid files during job start.

Merge branch '5319-collection-pdh-fix-performance-wip'

Refs #5319.

5319: Improve performance of Collection PDH fix migration.

* Use PostgreSQL's native regular expression search to limit the
  number of records we pull through ActiveRecord.
* Use a smaller batch size to avoid pulling pathological batches of
  records that cause swapping.

Merge branch 'master' into 5383-api-db-current-time

5383: blob.rb uses db_current_time as well. since it is using static methods, the module needs to be "extended"

5448: Fix cid file cleanup.

5383: add test that creates an object and does a lookup using that object's created_at timestamp.

5448: Add --all to "docker images" because it turns out it doesn't list all the installed images by default!

Merge branch 'master' from github.com/daftano. No issue #

Merge branch 'master' into 5383-api-db-current-time

5383: use db current time in place of Time.now

5448: Don't create new tasks if $main::success is defined.  Add failure count
to cidfile and delete cidfile in reapchildren() to fix Docker cidfile collision.

Merge branch 'install-doc-uuid-prefix' no issue #

Merge branch '4158-fix-compute-node-detail' closes #4158

Update install-workbench-app.html.textile.liquid

Add libsqlite3-dev dependency

Update install-workbench-app.html.textile.liquid

Remove sudo because to run sudo you need to have it already installed
Add git to download sources from github

5034: Update Workbench integration tests.

A lot of tests started failing because

* they were looking for the string "content hash" to assert they were
  on a collection page, or
* they expect the portable data hash to be real text on the page (as
  opposed to the value of an <input>).

Fixes:

* Have the upload test check that the collection is empty by looking
  for the relevant size information, which was specified by the story.
* Make sure we're on a specific collection page by looking for the
  collection's name or UUID (depending on what's available).
* Refute we're on a specific collection page by matching against the
  URL.  This seems much safer in the long run.
* Remove the "Content hash" assertion from projects test altogether.
  The prior text assertion should be sufficient to ensure we're on the
  right page.

Refs #5034.

5034: Update Workbench Gemfile post-merge.

Refs #5034.

Merge branch '5034-workbench-collection-summary-wip'

Closes #5027, #5034, #5452.

5034: Improve Workbench collection display.

* Display the UUID, and make it auto-select for easy copying.
* Do the same for the portable data hash, and call it the content
  address to emphasize that.
* Display information about the collection's size on the show page and
  preview pane.  This relies on an updated Ruby SDK.
* Clean up code that checks for a portable data hash in the UUID.
  That can't happen anymore thanks to the redirect/list display logic
  in the controller.

5034: Add Keep::Manifest#files_size to Ruby SDK.

Merge branch '5211-improved-top-navbar'

closes #5211

Merge branch 'master' into 5211-improved-top-navbar

Remove reference to as yet non-existant compute node setup page.

Refs #5211

refs #3761
Merge branch '3761-pull-list-worker'

Typo fix and gofmt fix.

3761: We do not need to MakeArvadosClient to create the pullq worker. Otherwise, we need the ARVADOS_API_HOST env variable in keep.

Add note to application.default.yml and installation documentation that
uuid_prefix must be exactly 5 characters.

4158: Compute node details are in properties, not info

Merge branch 'patch-1' from github.com/daftano. No issue #

Use postgresql options to reduce questions

-S set new role to not be a superuser
-R disable the creation of more new roles for the new role

closes #5418
Merge branch '5418-brand-unclickable-anonymous'

Merge branch 'master' into 5418-brand-unclickable-anonymous

5418: fix assert formatting

5207: Change expires_at column type from date to datetime.

Merge branch '5104-ruby-sdk-collections-wip'

Closes #5104, #5423.

5104: Add Collection class to the Ruby SDK.

This provides an interface to do filesystem-like operations on a tree
expressed in a manifest.  It currently supports copy, rename, and
remove operations, and will give us common ground for further work in
Ruby components.

5104: Refactor Ruby SDK test infrastructure into sharable module.

5418: topnav brand name is clickable only when user is logged in.

Fix arv-normalize regression.  refs #5145 refs #4823

Update prerequisites

Remove sudo because to run sudo you should already have to have it installed
Add git to download sources from github

refs #5145
Merge branch '5145-combine-collections-repeated-filenames'

5145: include manifest text in assert error message to identify the cause of test failure in jenkins.

closes #5145
Merge branch '5145-combine-collections-repeated-filenames'

A series of changes to the top nav bar to make it more compact.

Refs #5211

Merge branch 'master' into 5145-combine-collections-repeated-filenames

closes #4426
Merge branch '4426-search-documentation'

Merge branch 'master' into 4426-search-documentation

4426: Adjust styling for search button on search box

4426: convert the search icon to a button

Add missing re import to PySDK arvfile module.

No issue #.

Merge branch 'master' into 4426-search-documentation

4426: name attribute is needed for google search

Merge branch 'master' into 5145-combine-collections-repeated-filenames

5145: small updates

closes #5304
Merge branch '5304-include-nulls-when-notequal-filter'

Merge branch 'master' into 5304-include-nulls-when-notequal-filter

closes #3761
Merge branch '3761-pull-list-worker'

Merge branch 'master' into 5145-combine-collections-repeated-filenames

3761: Expand DiscoverKeepServers method to return service_roots and use it in test

Merge branch 'master' into 3761-pull-list-worker

3761: add a test with invalid data manager token and expect the item to be rejected.

Merge branch 'master' into 4426-search-documentation

4426: add google search in doc topnav

Merge branch '5182-cors-error-reporting' closes #5182

Merge branch '5073-docker-limitations' closes #5073

Merge branch '5105-ajax-redirect' closes #5105

5182: Tweak error messages.

5105: Clarify "no double-layout" asserts. Remove redundant "not on welcome page" asserts.

5304: include nulls in resutls when filter operator is "!="

5073: Update ruby version to 2.1.5

5073: Document docker limitations. Bring "overview" up to the top of the install section.

5105: Better assertion for tab-loading error display.

5105: Restore previous token in an ensure block.