Merge pull request #1 from curoverse/master

pulling from upstream

Merge branch '5425-set-docker-memory-limits' refs #5425

Merge branch '5198-remote-link-ctrl-click' refs #5198

Merge branch '5318-git-sharing-note' closes #5318

5198: Merge branch 'master' into 5198-remote-link-ctrl-click

5198: Update comment.

Go SDK improvements:

- keepclient now respects the ARVADOS_API_HOST_INSECURE environment
  variable

- arvadosclient and keepclient accept (1,yes,true) to enable the
  insecure api host flag, case insensitive.

No issue #

Merge branch '5276-job-graph-phantom-tooltip' closes #5276

5276: Merge branch 'master' into 5276-job-graph-phantom-tooltip

5276: Name log fixtures. Fix over-sensitive test.

refs #5375
Merge branch '5375-preview-collection-text-files'

5375: added javascript and rtf application types to white-listed application types after observing that these were disabled when testing in staging.

closes #5375
Merge branch '5375-preview-collection-text-files'

5375: small updates on comments

5375: and add the new test file

5375: move the mime type tests into a new collections_helper_test.

Merge branch 'master' into 5375-preview-collection-text-files

5319: Bound search in collection PDH fix migration.

Only search collections that exist when the migration begins.  This
helps avoid an infinite loop where we yield a bad collection, it gets
fixed a new replacement is created, and then we find and yield the
replacement…  Refs #5319.

5375: update the fixture pdh with the value got from keep put.

5375: improved mime_types initializer. enhance collections_helper to use mime_type sub_type instead of relying on suffix.
update config param name, value, and comment. add .seq, which is another supported extension of fasta to test.

Merge branch '5319-collection-pdh-fix-performance-2-wip'

Refs #5319.

5319: Improve collection PDH fix performance with LIKE searches.

PostgreSQL regexp searches use a lot of RAM, and these queries run out
of RAM on qr1hi.  Prefer LIKE queries, which use less RAM and are more
portable.  We have to do multiple searches, but that's life.

Merge branch 'master' into 5375-preview-collection-text-files

5276: Use using_wait_time 0 instead of evaluate_script.

5276: Reveal and update the log graph as soon as the first data point
arrives, rather than waiting for the redraw timer.

Return an empty hover tooltip for the placeholder data point. (The
placeholder series is only added when the graph is empty and hideHover
is true, but it doesn't get deleted later when hideHover goes false.)

Render the graph in a show() callback to ensure the div is visible
when Morris creates its SVG element: otherwise the SVG can end up
being created with height=1px. This addresses bugs like "graph doesn't
show up sometimes" and "data point hover tooltips show up, but there's
no graph".

5276: Improve job log graph tests.

* Run tests as a non-admin user. (This just needed an update in the
  log simulator to insert the logs with the same owner_uuid as the
  target job.)

* Test graph display/update behavior both with and without an existing
  log entry in the database during initial page display.

5276: Remove redundant test teardown.

Merge branch '5285-arpi-use-settings' closes #5285

5425: Set memory limit on container as a fraction of total system memory
allocated to task each when invoking Docker.

5198: Remove href attributes from remote:true links to prevent ctrl-click et al. from doing the wrong thing.

5318: Add note on sharing page for repository object about lag time taking effect.

5285: Remove cruft made redundant by Ruby SDK

Merge branch '5500-crunch-temporary-failure' refs #5500

5500: Add TASK_TEMPFAIL constant.  shell_or_die always exits non-zero on error.

5500: Add SLURM "Communication connection failure" to pattern of temporary node
failures.  "pip install" failure returns temporary error status (111) so the
task can be retried.

5375: white space

5375: enhance the mime_types initializer to add a new type only when that type is not yet supported by the MIME types gem.

5375: after much hair pulling, found the syntax to replace MIME::Types.add(MIME::Type.from_array... since from_array is deprecated; now using MIME::Types.add(MIME::Type.new...

Merge branch 'master' into 5375-preview-collection-text-files

refs #5383
Merge branch '5383-api-db-current-time'

Merge branch 'master' into 5383-api-db-current-time

5383: Add back Time.parse(). Without it the value returned would be of the format 2015-03-18 13:37:11 UTC,
and with Time.parse it would be 2015-03-18 09:37:11 -0400, which is the same as Time.now.

Merge branch '5313-node-manager-node-naming-tag-wip'

Refs #5313.  Closes #5434, #5467.

5313: Node Manager has cloud-specific logic to get node FQDNs.

On AWS, we put compute nodes' FQDN in the name field.  On GCE, we
can't do that: it can't contain dots.  Add a node_fqdn classmethod to
cloud drivers to get a node's FQDN from the right place, and use that
method when deciding whether or not to sync a node.

Syncing a node will occasionally raise an "Invalid fingerprint"
exception on GCE.  This is nonfatal.  Add a comment explaining why.

Merge branch 'master' into 5375-preview-collection-text-files

closes #5383
Merge branch '5383-api-db-current-time'

5383: better test assertion

Merge branch 'master' into 5383-api-db-current-time

5375: add test to verify that collection#show page enalbles / disables file viewing correctly.

5375: add some of the mime types not supported by mime_types gem to mime_types.rb initializer.

When copying a collection that already exists on the destination, fetch
manifest text from the destination in order to create a new collection with the
correct signing tokens.  closes #5475

5383: minor test assertion updates

Merge branch 'master' into 5383-api-db-current-time

5383: add one more test that updates an object twice and verifies the updated_at times are different.

5383: remove unused include statement from log_test (it is now the same as in master with no updates in this branch).

Merge branch '5476-connect-timeout-scale' closes #5476

5383: postgres current_timestamp is the start of transaction and clock_timestamp is the current time at the statement execution. updated db_current_time to use  clock_timestamp and reverted back all updates to log_test.rb

5476: Describe timeout behavior if KeepClient.__init__ docstring.

5476: Better implementation of connection timeout scaling.  Updated docstring
for current_timeout.

5476: Increase connection timeout when retrying keep get and put.

5383: revert db_current_time back to Time.now in application_controller as the usages were for error tokens and request profiling only.

5383: revert back db_current_time update to Time.now in api scripts and middleware rb files.

5383: update db_current_time to return date with more precision. Update log_test to use db_current_time instead of Time.now to ensure if there is a slight difference in time between db time and server time, the test does not fail.

Merge branch 'master' into 5383-api-db-current-time

Merge branch '5207-expires-at-time' closes #5207

Merge branch 'master' into 5383-api-db-current-time

Merge branch '5448-crunch-job-task-fixes' refs #5448

5448: Clean up old cid files during job start.

Merge branch '5319-collection-pdh-fix-performance-wip'

Refs #5319.

5319: Improve performance of Collection PDH fix migration.

* Use PostgreSQL's native regular expression search to limit the
  number of records we pull through ActiveRecord.
* Use a smaller batch size to avoid pulling pathological batches of
  records that cause swapping.

Merge branch 'master' into 5383-api-db-current-time

5383: blob.rb uses db_current_time as well. since it is using static methods, the module needs to be "extended"

5448: Fix cid file cleanup.

5383: add test that creates an object and does a lookup using that object's created_at timestamp.

5448: Add --all to "docker images" because it turns out it doesn't list all the installed images by default!

Merge branch 'master' from github.com/daftano. No issue #

Merge branch 'master' into 5383-api-db-current-time

5383: use db current time in place of Time.now

5448: Don't create new tasks if $main::success is defined.  Add failure count
to cidfile and delete cidfile in reapchildren() to fix Docker cidfile collision.

Merge branch 'install-doc-uuid-prefix' no issue #

Merge branch '4158-fix-compute-node-detail' closes #4158

Update install-workbench-app.html.textile.liquid

Add libsqlite3-dev dependency

Update install-workbench-app.html.textile.liquid

Remove sudo because to run sudo you need to have it already installed
Add git to download sources from github

5034: Update Workbench integration tests.

A lot of tests started failing because

* they were looking for the string "content hash" to assert they were
  on a collection page, or
* they expect the portable data hash to be real text on the page (as
  opposed to the value of an <input>).

Fixes:

* Have the upload test check that the collection is empty by looking
  for the relevant size information, which was specified by the story.
* Make sure we're on a specific collection page by looking for the
  collection's name or UUID (depending on what's available).
* Refute we're on a specific collection page by matching against the
  URL.  This seems much safer in the long run.
* Remove the "Content hash" assertion from projects test altogether.
  The prior text assertion should be sufficient to ensure we're on the
  right page.

Refs #5034.

5034: Update Workbench Gemfile post-merge.

Refs #5034.

Merge branch '5034-workbench-collection-summary-wip'

Closes #5027, #5034, #5452.

5034: Improve Workbench collection display.

* Display the UUID, and make it auto-select for easy copying.
* Do the same for the portable data hash, and call it the content
  address to emphasize that.
* Display information about the collection's size on the show page and
  preview pane.  This relies on an updated Ruby SDK.
* Clean up code that checks for a portable data hash in the UUID.
  That can't happen anymore thanks to the redirect/list display logic
  in the controller.

5034: Add Keep::Manifest#files_size to Ruby SDK.

Merge branch '5211-improved-top-navbar'

closes #5211

Merge branch 'master' into 5211-improved-top-navbar

Remove reference to as yet non-existant compute node setup page.

Refs #5211

refs #3761
Merge branch '3761-pull-list-worker'

Typo fix and gofmt fix.

3761: We do not need to MakeArvadosClient to create the pullq worker. Otherwise, we need the ARVADOS_API_HOST env variable in keep.

Add note to application.default.yml and installation documentation that
uuid_prefix must be exactly 5 characters.

4158: Compute node details are in properties, not info

Merge branch 'patch-1' from github.com/daftano. No issue #

Use postgresql options to reduce questions

-S set new role to not be a superuser
-R disable the creation of more new roles for the new role

closes #5418
Merge branch '5418-brand-unclickable-anonymous'

Merge branch 'master' into 5418-brand-unclickable-anonymous