4138: Fixup GCE shutdown window docs.

4138: Fixup GCE boot time calculations.

Store boot time in node metadata when we create a node.  Assume 0 if
that's not available.

4138: Fixup GCE config e-mail address.

4138: Prepare Node Manager GCE driver for production.

* Set node metadata in more appropriate places.
* Bridge more differences between GCE and EC2, like the fact that
  sizes are listed for each location they're available.
* Use more infrastructure from BaseComputeNodeDriver to reduce code
  duplication.
* Load as many objects as possible at initialization time, to reduce
  API overhead of creating nodes.

4138: Revamp Node Manager driver proxying in BaseComputeNodeDriver.

Accessing attributes through a super() proxy does not invoke
__getattr__ on base classes, so the old implementation made it
impossible for subclasses to be agnostic about whether a method was
implemented in BaseComputeNodeDriver or the real libcloud driver.
This version makes that possible.  It's also a little nicer because
now the class will report these method names to dir(), hasattr(), etc.

4138: Refactor out Node Manager DriverTestMixin.

4138: Fix noop Node Manager EC2 driver tests.

The previous tests simply instantiated the driver, then checked that a
mock method was truthy (which it will always be).  This makes the test
work as intended.

4138: Refactor common Node Manager driver initialization to base driver.

4138: Simplify Node Manager GCE credential handling.

Because libcloud's GCE driver accepts a key path as a constructor
argument, it's relatively straightforward to put all the constructor
arguments directly in the Node Manager configuration.  No need to
parse out JSON.

4138: updated unit test

Corrected test_create_includes_ping_secret to account for delivering the
ping secret via metadata in GCE.

4138: GCE fixes

The 'network_id' parameter needs to be delivered as 'location' in GCE.

The ping_url parameter is now delivered in the node metadata as
'pingUrl'.

When creating a new GCE instance, 'name' is a required parameter and
must begin with a letter. The default name is the UUID of the
corresponding Arvados node, prepended with 'arv-'.

4138: general GCE fixes

* JSON credential file
** GCE credentials are delivered as a JSON string (and the key is formatted as a multi-line RSA private key). Let the GCE config file specify a path to the JSON credential file for simplicity.
* Accept NodeSizes addressed by id or name
** In EC2, NodeSizes are identified by the 'id' field.  In GCE they are identified by the 'name' field.  Allow the Node Manager config module to accept either.

4138: code review feedback

4138: support for Google Cloud Engine.

* Added:
** nodemanager/arvnodeman/computenode/drivers/gce.py
** nodemanager/doc/gce.example.cfg
** nodemanager/tests/test_computenode_driver_gce.py

Updated comment in nodemanager/arvnodeman/computenode/drivers/ec2.py.

closes #5186
Merge branch '5186-collection-with-empty-properties'

5186: a few more test assertions.

5186: collection properties attribute is a hash

Ensure result order is predictable, even if client-provided orders do not specify a complete ordering.

Fixes intermittent test failures. Example (from
https://ci.curoverse.com/job/arvados-api-server/1305/console):

GroupsTest#test_get_all_pages_of_group-owned_objects [/data/1/jenkins/workspace/arvados-api-server/services/api/test/integration/groups_test.rb:31]:
Received 'zzzzz-4zz18-fy296fx3hot09f7' again on page 3.
<nil> expected but was
<true>.

No issue #

Merge branch '5011-thread-safe-test' refs #5011

Merge branch '5200-anonymous-download'

Closes #5200

Merge branch 'master' into 5200-anonymous-download

Merge branch '5037-nonocache' closes #5037

Merge branch '5030-hide-graph-until-data' closes #5030

5011: Fix unreliable test.

The collection writer was (sometimes) consuming the last 200 response
even though it could write 3 copies without it. This shouldn't fail
the test: the only reason we count the PUT calls is to verify all
three of the 200 responses were consumed (i.e., none of the 500
responses were counted toward the achieved replication level). To
verify this without being sensitive to extra requests, we simply
arrange for the three 200 responses to be the last ones available.

5011: Use a threadsafe wrapper to feed side effects to mocks.

5200: Fix overly sensitive fuse test. (Do not fail every time a fixture is added.)

5200: Do not fail tests if application.yml is missing: defaults are enough to pass tests.

5200: Enable anonymous file view/download.

Merge branch '4839-worker-state' closes #4839

Merge branch '4904-arv-web' closes #4904

Merge branch 'master' into 4904-arv-web

4904: Remove extraneous ciddir and cidfilepath.  Explicit non-zero exit code
when an ArgumentError is caught.

4839: Use node[crunch_worker_state], not node[info][slurm_state], to make shutdown decisions.

Node Manager daemon tests avoid checking monitor.is_alive().

Checking is_alive() creates race conditions, because we might check
the actor's live state before it's had a chance to process a stop
message in its queue.  We just had a build fail because of this:
<https://ci.curoverse.com/job/arvados-api-server/1299/>.  Always check
that a monitor is alive by sending it a real message.  No issue #.

Fix undependable test (incorrectly assumed a particular job would be on the first page of /jobs). No issue #

Merge branch '4951-request-vm-TC' refs #4951

4951: Empty out ActionMailer::Base.deliveries so we can count deliveries caused by the current test.

4951: Rearrange js to make use of Rails built-ins. Add generic AJAX error handler.

4951: Add localStorage to browser dependency checks.

4951: fix comment in test

4951: update test to also verify that an email was sent when request shell access button was clicked.

Merge branch 'master' into 4951-request-vm

closes #5185
Merge branch '5185-collections-tab-zero-size-issue'

5185: remove the unnecessary test because another test is covering the description column check already.

5185: do not display description at all in Project -> Data collections tab because of concerns such as the description may be too big or has textile etc.

4951: button_to cannot be used to submit; instead change to link_to

5185: in project data collections tab, show description when available; otherwise display modified time.

closes #4951
Merge branch '4951-request-vm'

Merge branch 'master' into 4904-arv-web

Conflicts:
sdk/python/arvados/events.py

4904: Detach from Docker container to get cid from stdout instead of fiddling
with cid file.  Poll "docker ps" to check if the container is still running.  Fixed bugs.
Updated documentation.

Merge branch 'master' into 4951-request-vm

closes #5110
Merge branch '5110-workbench-full-text-search'

5110: update a comment in test; this comment was reflecting ui from before project tabs.

5110: update couple more tests to do a single visit to page than visit home and then visit page.

Merge branch 'master' into 5110-workbench-full-text-search

4904: Refactor arv-web main() into ArvWeb class.  Add CollectionDirectory.change_collection to FUSE.

4951: Incorporate review feedback. Always show the request button, along with the "sent" message if applicable. Include timestamp in sent message. Some text updates as well.

Merge branch 'master' into 4951-request-vm

Merge branch '4958-old-browser-alert' closes #4958

4958: Merge branch 'master' into 4958-old-browser-alert

4958: Tweak wording. Fix margins.

4958: Test WebSocket support.

4958: Rename test file.

Fix javascript errors when closing modal. refs #5183

5183: Disable animation on modal. (It seems to cause intermittent test failures.) refs #5183

Merge branch '5160-share-with-anonymous-group-wip'

Closes #5160, #5163.

5160: Workbench hides anonymous sharing when browsing disabled.

This commit updates Workbench to filter out the anonymous group from
the group sharing modal when anonymous browsing is disabled.  That
helps avoid situations where users think their work is publicly
sharable, but that's been disabled by the administrator.

5160: Make anonymous group fixture match database seed.

Refer to /services/api/app/models/database_seeds.rb.

5160: Fix typo in Workbench default config comments.

5160: All users have API read permission to anonymous group.

Workbench makes public data available to everyone by including the
anonymous user API token as a reader token for every request.
However, model-level validations do not respect reader tokens.  As a
consequence, users cannot make their project public by sharing it with
the anonymous group.  They can't create the necessary link, because
the validation can't confirm that the creator can see the anonymous
group.

There are a few ways we could've tackled this, but granting all users
permission to see the anonymous group seems like the most reliable,
since it works within our existing permissions infrastructure as much
as possible.

Merge branch 'master' into 5110-workbench-full-text-search

refs #4523 : Add postgres full text search support
Merge branch '4523-full-text-search'

5110: update comment

Merge branch '4523-full-text-search' into 5110-workbench-full-text-search

Merge branch 'master' into 5110-workbench-full-text-search

Merge branch 'master' into 4523-full-text-search

5037: Remove git tags from SDK version restrictions.

5037: Merge branch 'master' into 5037-nonocache

Fix typo.

refs #4754

Also add minitest and friends to the performance group.

Refs #4754

Revert "We need tmp/cache to exist before we can run performance tests"

refs #4754

This reverts commit c882575c856e01313cf2caf2e4ead1f27bfb33ae.

Merge branch '4523-full-text-search' into 5110-workbench-full-text-search

Merge branch 'master' into 4523-full-text-search

We need tmp/cache to exist before we can run performance tests

refs #4754

Make sure the performance testing gems are available when workbench is
run in the performance rails environment.

refs #4754

5110: full text search seems to treat '_' characters as spaces. Thus, when searched for 'pipeline_1', objects matching 'pipeline'
are also fetched since '1' is a common word and ignored. Hence, update the test to use more specific search filters.

Merge branch '4523-full-text-search' into 5110-workbench-full-text-search

4523: add search test looking for '_' which is ignored by full text search.

Merge branch 'master' into 4523-full-text-search

5176: Update Gemfiles with current arvados gem.

Refs #5176.  Closes #5181.

Merge branch '5176-escape-filenames'

Closes #5176, #5180.

5176: Update API Collections test to accommodate new fixtures.

5110: append :* to search filter to enable prefix matching; server no longer does this and expects clients to append it as needed.

5176: Update Gemfile.lock.

Merge branch '4523-full-text-search' into 5110-workbench-full-text-search

Merge branch 'master' into 4523-full-text-search

4523: update tests to include :* in the filters sent rather than expect server to append it.

5176: Update bundles.

5176: Fix broken fixtures, add tests.

refs #4926 #5072 Merge branch '4926-fix-imagesizes'