4139: Fix race condition in Node Manager tests.

Get a reference to the monitor mock earlier, before the daemon starts
working with it.  Otherwise, we might get inconsistent state results.

Refs #4139.

Report "swap" memory statistic if kernel provides it. refs #4185

4227: much simplified date display test

Merge branch 'master' into 4227-date-display

Merge branch '3826-crunchstat-netstats' closes #3826

3826: Merge branch 'master' into 3826-crunchstat-netstats

3824: Show stdout/stderr if shell cmd fails in install script.

Merge branch '4139-node-manager-race-fix-wip'

Refs #4139, #4275.

4139: Node Manager more closely tracks nodes it boots.

When using Node Manager on EC2, we saw a race condition where a node
would finish setting up, but would not be returned in node listings
right away.  This adds a "booted" node state to the daemon, where a
node booted by Node Manager is assumed to be up and running unless it
disappears from the listing *after* being listed.  It's escalated to
the normal workflow after it appears in a listing.

4139: Node Manager supports subscribing to shutdown events.

This is necessary to fix a race condition.  The daemon needs to be
able to track nodes that it has booted even if they don't appear in
listings.

Merge branch 'master' into 4195-pipeline-tutorial

4195: fix the tutorial to match the latest dashboard ui.

Merge branch '4266-log-performance' refs #4266

4266: Merge branch 'master' into 4266-log-performance

4266: Add word missing from comment.

4266: Use each_line as enumerator instead of building an array with lines.each.

4266: Add missing "next" statement, oops.

4227: update fixtures to use bigger finish times

Merge branch 'master' of git.curoverse.com:arvados into 4227-date-display

Merge branch '4139-node-manager-polling-logging-wip'

Refs #4275, #4139.

4139: Improve scheduling of Node Manager polls.

* Catch all exceptions, so that we keep polling no matter what
  happens.  Use CLIENT_ERRORS as a hint about how much logging we
  need.
* Make the next poll time calculation a little less stateful and
  easier to follow.
* Add tests for poll scheduling.

4139: Improve logging in Node Manager poll actors.

4139: Node Manager callback actor avoids redundant delivery calls.

This helps make it more responsive when it receives a shutdown
request.

4227: some more test and fixture updates.

4266: Tweak long-line handling.

4266: Fix OOM when stderr has a lot of data with no newlines.

4227: minor test upadtes

4266: Clean up streambuf.split(newline) loop.

Merge branch 'master' into 4227-date-display

closes #4054
Merge branch '4054-sharing-email'

4091: the test with 200 jobs and 10 pipelines is failing in jenkins env. reduce the number of pipelines to 2 to see if shorter runtime helps.

Merge branch 'master' into 4054-sharing-email

4227: AM / PM indicator fix

Arvados python SDK: do not blow up when HOME is not set.

No issue #

4266: Fix log processing performance.

* Remove "max log table entries per job" limit (and its horrible
  memory leak).

* When logs are coming fast, but under all throttle thresholds, group
  them into fewer rows in the logs table.

* Optimize performance by making a short code path when any threshold
  is exceeded. Now capable of ~200 MiB/s (of 100-character lines) on
  lappy386.

* Bring stream buffer back up to a reasonable size, add a comment to
  protect it from future style tweaks.

* Simplify time calculations by storing time-to-reopen-throttle
  instead of time-throttle-last-opened.

* Log "# bytes skipped" to stderr (sysadmin logs) too, not just the
  logs table.

3699: bug fixes

* abort() should not crash the program because it's calling logging.info
  wrong
* if the pipeline description is None, correctly substitute an empty
  string in the destination pipeline.
* finish writing collection progress at 100%

Merge branch '3787-docker-docs' closes #3787

3787: docker group -> @docker@ group for consistency

3787: Add note about needing to be in docker group.  A few other minor text tweaks.

3699: bug fix

The re.sub 'repl' function takes a MatchObject as argument, not a
string. Oops.

Also we need to do manifest.splitlines(True) in order to be able to tell
whether the manifest ends with a newline in the first place.

3699: collection copying bug fixes

From code review #3699-35:
* Updated help text
* Find collection UUIDs and hashes throughout script_parameters even if
  buried in command arguments
* Use logger consistently in preference to "print >>sys.stderr"
* isinstance(obj, basestr)
* Fix ensure_unique_name handling
* copy_collection now correctly handles manifests without a trailing
  newline

3787: Update title, grammar, add "Share Docker images", add job-pipeline-ref.html based on review feedback.

Merge branch 'master' into 4026-project-move-admin

Conflicts:
apps/workbench/test/integration/projects_test.rb

Merge branch 'master' into 4054-sharing-email

3826: Merge branch 'master' into 3826-crunchstat-netstats

3826: Fix confusing reuse of variable name.

3826: Use strconv instead of scanner + sscanf.

3826: Use global logChan. Use ioutil.ReadFile.

3826: Clean up slice initialization.

4058: Tests for portable data hash redirection and multiple matches page.

closes #4062
Merge branch '4062-infinite-scroll-repeat-TC'

4062: Do not clobber next_page_url filters with local filters.

4058: If a portable data hash correpsonds to a single collection, automatically
redirect to the collection page.  If not, show a special "menu" page listing
the matching collections.

4062: Merge branch 'master' into 4062-infinite-scroll-repeat-TC

4026: admin user can move a project under another user's home project.

4054: minor test update

Merge branch 'master' into 4054-sharing-email

4054: show email address in sharing tab and update test to verify.

Merge branch '3698-invalid-output-of' closes #3698

Make sure to use httpclient 2.5.0 or higher for Workbench. Older
versions force the use of SSLv3, which is no longer advisable now that
Poodle is a thing.

No issue #

3698: Fix: components keys are symbols, not strings.  Tweaked error message to
tell you what the invalid output_of actually is.

3698: Add check that output_of refers to an actual component.

3699: allow script_version to be a branch

Fix copy_git_repo to behave properly when the source script_version
refers to a branch on the source repository:

* clone the source repo with git clone --bare (ensuring that local
  branch refs are created for all remote branch refs)
* name the destination branch for "repository_script_version" to prevent
  merge conflicts, if we copy different branches on the source
  repository to the same destination repository

4083: Searched for everything using strptime and added import _strptime where it was missing. closes #4083

Merge branch '4229-close-files' closes #4229

3699: bugfix: some leftover recursive/force options

recursive -> args.recursive
force -> args.force
dst_git_repo -> args.dst_git_repo

3699: report on collection copying progress

added by_id subdirectory notes and arvados#collection

No issue #.

4239: Update Python SDK for google-api-python-client 1.3.

This package renames the module from apiclient to googleapiclient.  It
provides a shim apiclient module for compatibility, but it only
exports the appropriate names, not real submodules.  Using it requires
changing imports like

    import apiclient.errors

to

    from apiclient import errors

This approach works (has been tested) with both versions 1.2 and 1.3.
Closes #4239.

4189: Diagnostics suite doesn't try to clear Rails cache.

Refs #4189.

Merge branch 'master' into 4062-infinite-scroll-repeat-issue

Conflicts:
services/api/test/fixtures/collections.yml
services/api/test/fixtures/jobs.yml

4062: Do not include offset in the next_page_href when objects of multiple kinds are being fetched; instead, we will rely on created_at filter alone.
Updated the tests and fixtures to expect all 200+ objects in the pipelines and jobs tab.
The test however is still not working as the created_at filter based fetch is not working.

Merge branch '4189-workbench-project-admin-attr-editing-wip'

Closes #4189, #4202.

4189: Workbench lets users with write permission rename objects in projects.

The key part of this commit are the changes to ApplicationHelper.
There's also some refactoring to more consistently answer questions
about whether or not an attribute is editable.

There are also some tests in here that I wrote while I was tracking
down the problem.  They seem like a useful addition.

4189: Workbench tests clear more state during teardown.

I'm working on some new tests that pick up on stale state without
these changes.

4189: Document the API server's writable_by field.

4189: Add writable_by to User API response, so writable_by is available for every owner_uuid.

4189: Admit in writable_by that an object is writable when its owner_uuid is writable.

4189: Look up owner's writable_by when API did not provide writable_by for the object in question.

4062: test updates

3826: Reverse fields in "stat not found" warning.

Merge branch '3609-arv-ws' refs #3609

3609: Fix PollClient for case when there are no filters (get everything).

3609: Testing fixups.

3609: Back out setting api_version, api_host, and api_insecure on api client
and instead document that caller to arvados.events.subscribe() should pass in a
freshly created api client.  Add event variable to indicate when subscription
is a success instead of sleeping.  Removed unused "import time".  Fixed "web
sockets" -> "websockets".

4229: Add missing Close() calls

4229: Get rid of sleep() in test

4062: update python testing to handle the multiple fixture object creation, similar to workbench test_helper update.

3609: import signal; add_mutually_exclusive_group doesn't take any arguments.

Python SDK is not compatible with apiclient 1.3.

Figuring out why this is needs more investigation.  It's something I'd
like to do, but it seems urgent to push this fix so builds can pass
again.  No issue #, but see
<https://ci.curoverse.com/job/arvados-api-server/980/>.

Merge branch 'master' into 4062-infinite-scroll-repeat-issue

4062: test update

3609: Add additional api_ fields to api client object so that subscribe() can
create a new api client.  Change test to use event variable instead of
sleeping.  Fix "Web sockets" -> "Websockets".  Make some command line options
mutually exclusive.

Merge branch '4219-verify-with-hints' closes #4219

4219: Add test for missing size hint. Dry up "known signature hint" consts.

Merge branch 'master' into 3699-arv-copy

3826: Roll up Open() attempts into a slice and a loop.

Merge branch 'master' into 4062-infinite-scroll-repeat-issue

4062: trailing white space

3826: Fix up formatting cf. gofmt