Created loggerutil to hold common datamanager logger code. Moved FatalWithMessage to it.

Moved some logic from datamanager.go to keep.go.

Started reading collections and keep data in parallel. Moved some logic from datamanager.go to collections.go. Added logging to end of run.

Merge branch 'master' of git.curoverse.com:arvados into 3408-production-datamanager

Conflicts resolved:
services/api/Gemfile
services/api/Gemfile.lock

Added recording of fatal errors to logger.

Added ForceRecord() method to enable writing remaining log changes before exiting.

Switched Logger edit hooks to write hooks so they'll trigger less often.

Switched batch size to 50. Added logging of batch size.

Added memory alloc in use to stats exported to log. Also added EditHooks to Logger, enabling users to add functions to get called on each Edit() call.

Added structure to data manager log entries, grouping similar fields.

Added ability to turn off logging by passing an empty string as the event type.

Started using Logger in data manager and collections.

Added support for MinimumWriteInterval.

Fixed bugs in logger, changed interface some, added documentation.
Still need to add support for MinimunWriteInterval.

Added logger to write log messages that grow over time. Not working yet.

Started focusing on Keep Server responses again. Switched to using blockdigest instead of strings. Added per block info so that we can track block replication across servers.

Fixed heap profile writing so that we overwrite previous heap profiles rather than adding to them. Minor cleanup too.

Added string copying to try to reduce memory usage, didn't seem to work. Cleaned up logging (and logging logic) so that we only see one line per batch.

Started parsing modification date as a timestamp instead of leaving it as a string.

Switched from strings to BlockDigests to hold block digests more efficiently. Started clearing out manifest text once we finished with it. Made profiling conitional on flag (before it crashed if not provided). Added final heap profile once collections were finished.

Runs to completion!

Changes to manifest that I forgot to add to previous checking.

Added blockdigest class to store digests more efficiently. This has the nice side effect of reducing how many string slices we use from the SDK, so the large string can get garbage collected once we remove other usages.

Long overdue checkin of data manager. Current code runs, but uses way too much memory and eventually crashes. This checkin includes heap profiling to track down memory usage.

Added reporting of disk usage. This is the Collection Storage of each user as described here: https://arvados.org/projects/arvados/wiki/Data_Manager_Design_Doc#Reports-Produced
But it does not include the size of projects owned by the user (projects and subprojects are each reported as their own users)

Report is just logged to screen for now.

Started reading index from keep servers.
Added lots of code to handle unexpected results from keep server.

Started reading response from keep server.

Merge branch 'master' of git.curoverse.com:arvados into 3408-production-datamanager

Add a magic pseudoclass to body, instead of appending a magic div. Selenium seems to like this better. refs #3021

Diagnostics really do need selenium. refs #3021

Make angular shim minify-safe. No issue #

3021: Fix phantomjs races by waiting for pages to appear. refs #3021

Merge branch '3408-go-sdk-api-errors' refs #3408

3408: Propagate API error messages to caller.

Merge branch '4312-crunch-report-sdk-version' closes #4312

4312: Remove redundant parenthesis.

4312: Fix dpkg search to use dpkg-query.

4312: Call virtualenv pip directly instead of using activate.

4312: Use "install" phase of bootstrap script to report the installed versions
of any arvados pip or debian packages.  Like virtualenv logic, only reports for
task 0 (since every task starts the same image).

Merge branch '3021-more-phantomjs' refs #3021

3021: Use selenium to land on #Advanced tab.

3021: Merge branch 'master' into 3021-more-phantomjs

3021: Add random part to magic string.

Merge branch '4598-crunch-failure-stats'

Fixes #4598.

4598: actually rename this time

PEBCAK failure led to deleting the file without staging the new one. d'oh.

4598: rename script

Renamed crunch-failure-report.py to crunch_failure_report.py to permit
importing (and eventually testing).

3021: Wait for shown.bs.modal before trying to click butttons in the modal.
Remove a stray Headless.new.start.

4598: catch exceptions more aggressively when looking up pipeline names

Added exception handling for cases where:
* job is not recorded as belonging to any pipeline instance
* pipeline instance has no pipeline template

Merge branch '4570-multi-auth-method' refs #4570

3021: Fix assertion broken in 9c10212.

4570: Fix tabs, CSS on log in button.

3021: Wait for dialog to close before asserting page transition.

Merge branch '4836-first-tab-load-wip'

Closes #4836, #4870.

4836: Trigger Workbench infinite scroll load on tab show.

If an infinite scroller is in the first tab of a show page, but the
user is going to a different tab, we'll queue up the first event
to load data for the container, but when it fires the container won't
be visible so it will decline to load anything.  Then you can only get
data to load if you resize the window.

Fire a scroll event when a new tab is shown, to spur the infinite
scroller to load data as appropriate.

4598: account for queued and cancelled jobs, fix sorting

Per code review:
* Updated report to include job states "Cancelled" and "Queued" as well
  as Failed, Running and Complete, and to take these into account when
  calculating job counts.
* Fixed sorting for failure classes.

Merge branch 'master' into 4570-multi-auth-method

4570: Revert to links on log in page instead of form.  Fixup documentation to
to describe a production setup.

3021: Use headless helper in performance and diagnostics tests, too.

3021: 4399: Refactor headless stuff into a module. Clear up new/start/stop use.

* Create one Headless per test process, when encountering the first
  test case that needs one.

* Call headless.start & stop exactly once for each test case that uses
  it.

4598: formatting and calculation fixes (code review)

Incorporating code review feedback from #4598-13.

Bugs fixed:
* Correct counting and percentage calculation of job failures.
** Jobs were getting categorized as both "unknown" and as a specific failure type.
* Crashes fixed: should not raise any unhandled exceptions.

Formatting fixes:
* Itemized failures are now sorted in descending order by failure type
* Better horizontal alignment
* Modified formatting to account for updated description.

Merge branch '4869-keepalive' refs #4869

4869: Client.Timeout and Client.Transport are now correctly set in
DiscoverKeepServers().  Improved comments.

3021: Clean up headless/selenium/javascript choices.

3021: Skip angular init if angular is not loaded.

3021: Silence "invalid regexp" errors while typing regexp; put input in "has-error" state instead.

3021: 4399: Convert some tests from selenium to phantomjs. Restart Headless less.

Remove cruft. No issue #

Merge branch '4887-invalidate-duplicate-ip-on-old-compute-nodes'

closes #4887

Merge branch 'master' into 4887-invalidate-duplicate-ip-on-old-compute-nodes

Address review comments:

* change stale_conflicting_nodes to a local variable
* minor performance optimization: add an additional check for ip_address being nil

refs #4887

Merge branch '4877-dont-delete-stdout'

Fixes #4877

4877: don't delete /dev/stdout

Fixed the filename check before trying to delete /dev/stdout.

4598: added failure types and short names

Added the sys/docker failure type. Failures now reported by short
failure name rather than by regex.

4598: remove more dev/debugging features.

4598: take out some debug reporting and --match option

Remove debugging features.

4598: fetch logs from Keep, more failure reporting

Per standup review: fetch logs with a CollectionReader on the log
collection uuid, rather than fetching log records from the API server.

Perform full failure reporting including job URL details.

Detect stale compute node records with the same IP address as the new
node on its first ping. Clear the ip_address field on the stale nodes.

Refs #4887

Cleanups:

* Remove old commented out code
* Remove superfluous test for presence of file on disk

refs #4887

4598: bug fixes, added full stats collection

Added code to report full stats on failed, successful, and incomplete
jobs.  Perform basic reporting on failed job causes (not yet working).

4869: Enable TCP keepalive and adjust connection timeouts to Keep client.

Fix whitespace, cf. gofmt. refs #4875

Merge branch '4875-keepclient-test-race' closes #4875

4875: Merge branch 'master' into 4875-keepclient-test-race

Conflicts:
sdk/go/keepclient/keepclient_test.go

Fix version strings to comply with PEP-440. No issue #

Merge branch '4523-owner_uuid-index' refs #4523

Merge branch '4869-keepproxy' refs #4869

4869: Strip all newlines from error responses, not just leading and trailing
whitespace.

4523: Dry up migration and test cases.

4869: Based on Go documentation, don't set a body ReadCloser on the request
when body length is 0.

4523: Fix column order to match migration order.

4523: Remove dev-only checks in migration.

4869: Correctly handle zero-length blocks in Keep client/Keep proxy.  Remove
X-Block-Size.  Choose default request timeout based on if client is talking to
a proxy or not.  Use double quotes in logging.  Rename "tag" to "requestId".

4523: Fix whitespace.

4869: Keepstore now returns Content-Length headers, and logs the error message
sent to the client on errors.

4869: KeepClient now has a default timeout per block request (10 minutes).  In
keepproxy, the timeout is set to 20 seconds per block.  Also rearranged some
keepclient and keepproxy logging to provide better information.

Merge branch '4754-performance-TC' closes #4754

Merge branch '4844-stricter-min-nodes-wip'

refs #4844

Merge branch 'master' into 4844-stricter-min-nodes-wip

Skip two more CLI tests that need a running API server.

refs #4156

4869: Improve logging

4875: Let the OS choose port numbers for fake servers.

Fixes a race condition where test case N+1 can't listen on port 2990
because test case N hasn't shut down its listener.

Also removes the artificial acceptance requirement that nobody else on
the testing host is using the arbitrarily assigned port range
2990..299x.

Incidental changes:

* rename RunBogusKeepServer to RunFakeKeepServer (to match
  RunSomeFakeKeepServers and fix the misleading implication that the
  resulting server does something bogus).

* return a KeepServer object from RunFakeKeepServer (for better parity
  with RunSomeFakeKeepServers).