4253: Fixup migration by having Rails check for duplicate usernames.

4253: Use new username to set up repository and VM logins.

The usernames added in 4253 have stricter limits than past usernames
generated to set up a repository and VM login.  Use the new generated
username to avoid a weird disconnect between that and these related
objects.  Do a little cleanup in the tests, including removing some
test parameters that now seem redundant under the new rules.

4253: Clean up some user setup methods.

As much as possible, use more methods provided by Rails, rather than
reimplementing them ourselves.

4253: Add a username attribute to users.

* Add the column, and propagate it based on available VM logins or
  e-mail address, if possible.
* Add format validation and tests.
* Set new usernames based on e-mail address, with tests.

Merge branch '5285-arpi-use-settings' closes #5285

5285: Remove cruft made redundant by Ruby SDK

Merge branch '5500-crunch-temporary-failure' refs #5500

5500: Add TASK_TEMPFAIL constant.  shell_or_die always exits non-zero on error.

5500: Add SLURM "Communication connection failure" to pattern of temporary node
failures.  "pip install" failure returns temporary error status (111) so the
task can be retried.

refs #5383
Merge branch '5383-api-db-current-time'

Merge branch 'master' into 5383-api-db-current-time

5383: Add back Time.parse(). Without it the value returned would be of the format 2015-03-18 13:37:11 UTC,
and with Time.parse it would be 2015-03-18 09:37:11 -0400, which is the same as Time.now.

Merge branch '5313-node-manager-node-naming-tag-wip'

Refs #5313.  Closes #5434, #5467.

5313: Node Manager has cloud-specific logic to get node FQDNs.

On AWS, we put compute nodes' FQDN in the name field.  On GCE, we
can't do that: it can't contain dots.  Add a node_fqdn classmethod to
cloud drivers to get a node's FQDN from the right place, and use that
method when deciding whether or not to sync a node.

Syncing a node will occasionally raise an "Invalid fingerprint"
exception on GCE.  This is nonfatal.  Add a comment explaining why.

closes #5383
Merge branch '5383-api-db-current-time'

5383: better test assertion

Merge branch 'master' into 5383-api-db-current-time

When copying a collection that already exists on the destination, fetch
manifest text from the destination in order to create a new collection with the
correct signing tokens.  closes #5475

5383: minor test assertion updates

Merge branch 'master' into 5383-api-db-current-time

5383: add one more test that updates an object twice and verifies the updated_at times are different.

5383: remove unused include statement from log_test (it is now the same as in master with no updates in this branch).

Merge branch '5476-connect-timeout-scale' closes #5476

5383: postgres current_timestamp is the start of transaction and clock_timestamp is the current time at the statement execution. updated db_current_time to use  clock_timestamp and reverted back all updates to log_test.rb

5476: Describe timeout behavior if KeepClient.__init__ docstring.

5476: Better implementation of connection timeout scaling.  Updated docstring
for current_timeout.

5476: Increase connection timeout when retrying keep get and put.

5383: revert db_current_time back to Time.now in application_controller as the usages were for error tokens and request profiling only.

5383: revert back db_current_time update to Time.now in api scripts and middleware rb files.

5383: update db_current_time to return date with more precision. Update log_test to use db_current_time instead of Time.now to ensure if there is a slight difference in time between db time and server time, the test does not fail.

Merge branch 'master' into 5383-api-db-current-time

Merge branch '5207-expires-at-time' closes #5207

Merge branch 'master' into 5383-api-db-current-time

Merge branch '5448-crunch-job-task-fixes' refs #5448

5448: Clean up old cid files during job start.

Merge branch '5319-collection-pdh-fix-performance-wip'

Refs #5319.

5319: Improve performance of Collection PDH fix migration.

* Use PostgreSQL's native regular expression search to limit the
  number of records we pull through ActiveRecord.
* Use a smaller batch size to avoid pulling pathological batches of
  records that cause swapping.

Merge branch 'master' into 5383-api-db-current-time

5383: blob.rb uses db_current_time as well. since it is using static methods, the module needs to be "extended"

5448: Fix cid file cleanup.

5383: add test that creates an object and does a lookup using that object's created_at timestamp.

5448: Add --all to "docker images" because it turns out it doesn't list all the installed images by default!

Merge branch 'master' from github.com/daftano. No issue #

Merge branch 'master' into 5383-api-db-current-time

5383: use db current time in place of Time.now

5448: Don't create new tasks if $main::success is defined.  Add failure count
to cidfile and delete cidfile in reapchildren() to fix Docker cidfile collision.

Merge branch 'install-doc-uuid-prefix' no issue #

Merge branch '4158-fix-compute-node-detail' closes #4158

Update install-workbench-app.html.textile.liquid

Add libsqlite3-dev dependency

Update install-workbench-app.html.textile.liquid

Remove sudo because to run sudo you need to have it already installed
Add git to download sources from github

5034: Update Workbench integration tests.

A lot of tests started failing because

* they were looking for the string "content hash" to assert they were
  on a collection page, or
* they expect the portable data hash to be real text on the page (as
  opposed to the value of an <input>).

Fixes:

* Have the upload test check that the collection is empty by looking
  for the relevant size information, which was specified by the story.
* Make sure we're on a specific collection page by looking for the
  collection's name or UUID (depending on what's available).
* Refute we're on a specific collection page by matching against the
  URL.  This seems much safer in the long run.
* Remove the "Content hash" assertion from projects test altogether.
  The prior text assertion should be sufficient to ensure we're on the
  right page.

Refs #5034.

5034: Update Workbench Gemfile post-merge.

Refs #5034.

Merge branch '5034-workbench-collection-summary-wip'

Closes #5027, #5034, #5452.

5034: Improve Workbench collection display.

* Display the UUID, and make it auto-select for easy copying.
* Do the same for the portable data hash, and call it the content
  address to emphasize that.
* Display information about the collection's size on the show page and
  preview pane.  This relies on an updated Ruby SDK.
* Clean up code that checks for a portable data hash in the UUID.
  That can't happen anymore thanks to the redirect/list display logic
  in the controller.

5034: Add Keep::Manifest#files_size to Ruby SDK.

Merge branch '5211-improved-top-navbar'

closes #5211

Merge branch 'master' into 5211-improved-top-navbar

Remove reference to as yet non-existant compute node setup page.

Refs #5211

refs #3761
Merge branch '3761-pull-list-worker'

Typo fix and gofmt fix.

3761: We do not need to MakeArvadosClient to create the pullq worker. Otherwise, we need the ARVADOS_API_HOST env variable in keep.

Add note to application.default.yml and installation documentation that
uuid_prefix must be exactly 5 characters.

4158: Compute node details are in properties, not info

Merge branch 'patch-1' from github.com/daftano. No issue #

Use postgresql options to reduce questions

-S set new role to not be a superuser
-R disable the creation of more new roles for the new role

closes #5418
Merge branch '5418-brand-unclickable-anonymous'

Merge branch 'master' into 5418-brand-unclickable-anonymous

5418: fix assert formatting

5207: Change expires_at column type from date to datetime.

Merge branch '5104-ruby-sdk-collections-wip'

Closes #5104, #5423.

5104: Add Collection class to the Ruby SDK.

This provides an interface to do filesystem-like operations on a tree
expressed in a manifest.  It currently supports copy, rename, and
remove operations, and will give us common ground for further work in
Ruby components.

5104: Refactor Ruby SDK test infrastructure into sharable module.

5418: topnav brand name is clickable only when user is logged in.

Fix arv-normalize regression.  refs #5145 refs #4823

Update prerequisites

Remove sudo because to run sudo you should already have to have it installed
Add git to download sources from github

refs #5145
Merge branch '5145-combine-collections-repeated-filenames'

5145: include manifest text in assert error message to identify the cause of test failure in jenkins.

closes #5145
Merge branch '5145-combine-collections-repeated-filenames'

A series of changes to the top nav bar to make it more compact.

Refs #5211

Merge branch 'master' into 5145-combine-collections-repeated-filenames

closes #4426
Merge branch '4426-search-documentation'

Merge branch 'master' into 4426-search-documentation

4426: Adjust styling for search button on search box

4426: convert the search icon to a button

Add missing re import to PySDK arvfile module.

No issue #.

Merge branch 'master' into 4426-search-documentation

4426: name attribute is needed for google search

Merge branch 'master' into 5145-combine-collections-repeated-filenames

5145: small updates

closes #5304
Merge branch '5304-include-nulls-when-notequal-filter'

Merge branch 'master' into 5304-include-nulls-when-notequal-filter

closes #3761
Merge branch '3761-pull-list-worker'

Merge branch 'master' into 5145-combine-collections-repeated-filenames

3761: Expand DiscoverKeepServers method to return service_roots and use it in test

Merge branch 'master' into 3761-pull-list-worker

3761: add a test with invalid data manager token and expect the item to be rejected.

Merge branch 'master' into 4426-search-documentation

4426: add google search in doc topnav

Merge branch '5182-cors-error-reporting' closes #5182

Merge branch '5073-docker-limitations' closes #5073