Changes to allow datamanager to run indefinitely:

Logger's worker goroutine returns after final write.
minutes-between-runs flag specifies how many minutes to wait between runs (0 means don't loop)

More changes in response to Peter's review.

Started referencing keep servers by uuid.
Moved more logger init code into constructor call.
Switched logged timestamp label from time_* to *_at.

3408: Merge branch 'master' into 3408-production-datamanager

Merge branch '4759-timestamp-precision-TC' closes #4759

closes #5220
Merge branch '5220-no-sharing-box-for-anon-user'

5220: whitespace cleanup.

4759: Add functional tests for timestamp precision.

4759: Add test for inequality filters.

4759: Ignore args to as_json.

5220: do not show "Sharing and permissions" box when an anonymous user is viewing a shared collection.

closes #5189
Merge branch '5189-manage-acct-shows-own-repos'

5189: a little cleanup

Merge branch 'master' into 5189-manage-acct-shows-own-repos

Merge branch '3410-replication-attrs' closes #3410 refs #5011

Fix typo in COPYING.

No issue #

3410: Merge branch 'master' into 3410-replication-attrs

Conflicts:
services/api/test/fixtures/collections.yml
services/api/test/unit/collection_test.rb

4759: Use ISO 8601 timestamps with fractional seconds in API responses.

refs #5096
Merge branch '5096-wb-collection-name-or-desc-update'

Merge branch 'master' into 5096-wb-collection-name-or-desc-update

Conflicts:
apps/workbench/test/controllers/collections_controller_test.rb

5096: more efficient update method override.

Merge branch 'master' into 5189-manage-acct-shows-own-repos

Merge branch '5095-fuse-ls-takes-forever' closes #5095

5189: include owned repositories in the list of repositories returned in manage_account.

5095: _mtime on collection defaults to 0 instead of time.time().

5095: Set _mtime when the collection object is updated.

closes #5186
Merge branch '5186-collection-with-empty-properties'

5186: a few more test assertions.

3410: Update comments.

3410: Fix search index so [old versions of] tests pass after down-migration.

3410: Fix overly sensitive test.

5186: collection properties attribute is a hash

3410: Update comments.

3410: Rename maybe_clear_redundancy_confirmed to maybe_clear_replication_confirmed.

5096: if only collection name or description is being updated, do not include manifest_text in the request.

Ensure result order is predictable, even if client-provided orders do not specify a complete ordering.

Fixes intermittent test failures. Example (from
https://ci.curoverse.com/job/arvados-api-server/1305/console):

GroupsTest#test_get_all_pages_of_group-owned_objects [/data/1/jenkins/workspace/arvados-api-server/services/api/test/integration/groups_test.rb:31]:
Received 'zzzzz-4zz18-fy296fx3hot09f7' again on page 3.
<nil> expected but was
<true>.

No issue #

Merge branch '5011-thread-safe-test' refs #5011

Merge branch '5200-anonymous-download'

Closes #5200

Merge branch 'master' into 5200-anonymous-download

Merge branch 'master' into 3408-production-datamanager

Added different event types for started, partially complete and final log entries.

Moved some logging code from datamananager to loggerutil.

Updated logger to do all work in a dedicated goroutine, so we don't need to worry about locking. Small changes to calling code.

Renamed timestamp fields to begin with "time_"

Now fetch Keep Server Status and record it to the log. Renamed some fields and added a comment for a potential improvement to decrease lock contention.

Improved erorr message to make it clear what's a size and what's a timestamp.

Renamed BlockDigest's ToString() to String() to implement fmt.Stringer() interface so that we get more readable error messages when structs contain BlockDigests.

A bunch of changes, most in response to Peter's review.

Logger:
Edit() and Record() have been replaced with the single Update() method which takes a function as input (suggested by Tom).
lastWrite replaced by nextWriteAllowed, for cleaner logic
Added writeScheduled to reduce the number of writes scheduled and attempted, thereby reducing lock contention
Added sanity-checking of params
A bunch of overdue cleanup
Update documentation to reflect the above changes

Manifest:
Renamed ManifestLine to ManifestStream

Util:
Deleted a lot of crap that proved less useful than I thought.
Moved collection.NumberCollectionsAvailable() to util.NumberItemsAvailable() and made it more generic.

collection:
Just cleanup in response to changes in above packages.

keep:
Switched Mtime from int to int64 to avoid y2038 problems.
Switched approach for avoiding keep proxy from using "accessible" to filtering on service_type = disk.
Cleanup in response to changes in above packages.

loggerutil:
Cleanup in response to changes in logger.

Added comment, ran gofmt.

Added Logger.MutateLog() on Tom's suggestion. Tried it out in one instance to make sure it works.

Finished adding logging to keep.GetServerContents but have not tested fully yet.

ran gofmt

Broke keep.GetServerContents() into smaller functions.

Removed channel awareness from keep.GetServerContents().

gofmt'd all my source code. No other changes.

Started logging in keep.go. More work to be done.

Created loggerutil to hold common datamanager logger code. Moved FatalWithMessage to it.

Moved some logic from datamanager.go to keep.go.

Started reading collections and keep data in parallel. Moved some logic from datamanager.go to collections.go. Added logging to end of run.

Merge branch 'master' of git.curoverse.com:arvados into 3408-production-datamanager

Conflicts resolved:
services/api/Gemfile
services/api/Gemfile.lock

Added recording of fatal errors to logger.

Added ForceRecord() method to enable writing remaining log changes before exiting.

Switched Logger edit hooks to write hooks so they'll trigger less often.

Switched batch size to 50. Added logging of batch size.

Added memory alloc in use to stats exported to log. Also added EditHooks to Logger, enabling users to add functions to get called on each Edit() call.

Added structure to data manager log entries, grouping similar fields.

Added ability to turn off logging by passing an empty string as the event type.

Started using Logger in data manager and collections.

Added support for MinimumWriteInterval.

Fixed bugs in logger, changed interface some, added documentation.
Still need to add support for MinimunWriteInterval.

Added logger to write log messages that grow over time. Not working yet.

Started focusing on Keep Server responses again. Switched to using blockdigest instead of strings. Added per block info so that we can track block replication across servers.

Fixed heap profile writing so that we overwrite previous heap profiles rather than adding to them. Minor cleanup too.

Added string copying to try to reduce memory usage, didn't seem to work. Cleaned up logging (and logging logic) so that we only see one line per batch.

Started parsing modification date as a timestamp instead of leaving it as a string.

Switched from strings to BlockDigests to hold block digests more efficiently. Started clearing out manifest text once we finished with it. Made profiling conitional on flag (before it crashed if not provided). Added final heap profile once collections were finished.

Runs to completion!

Changes to manifest that I forgot to add to previous checking.

Added blockdigest class to store digests more efficiently. This has the nice side effect of reducing how many string slices we use from the SDK, so the large string can get garbage collected once we remove other usages.

Long overdue checkin of data manager. Current code runs, but uses way too much memory and eventually crashes. This checkin includes heap profiling to track down memory usage.

Added reporting of disk usage. This is the Collection Storage of each user as described here: https://arvados.org/projects/arvados/wiki/Data_Manager_Design_Doc#Reports-Produced
But it does not include the size of projects owned by the user (projects and subprojects are each reported as their own users)

Report is just logged to screen for now.

Started reading index from keep servers.
Added lots of code to handle unexpected results from keep server.

Started reading response from keep server.

Merge branch 'master' of git.curoverse.com:arvados into 3408-production-datamanager

5095: Record mtime() from group#contents

5095: Don't check update when getting mtime().

Merge branch '5037-nonocache' closes #5037

Merge branch '5030-hide-graph-until-data' closes #5030

5011: Fix unreliable test.

The collection writer was (sometimes) consuming the last 200 response
even though it could write 3 copies without it. This shouldn't fail
the test: the only reason we count the PUT calls is to verify all
three of the 200 responses were consumed (i.e., none of the 500
responses were counted toward the achieved replication level). To
verify this without being sensitive to extra requests, we simply
arrange for the three 200 responses to be the last ones available.

5011: Use a threadsafe wrapper to feed side effects to mocks.

5200: Fix overly sensitive fuse test. (Do not fail every time a fixture is added.)

5200: Do not fail tests if application.yml is missing: defaults are enough to pass tests.

5200: Enable anonymous file view/download.

Merge branch '4839-worker-state' closes #4839

Merge branch '4904-arv-web' closes #4904

Merge branch 'master' into 4904-arv-web

4904: Remove extraneous ciddir and cidfilepath.  Explicit non-zero exit code
when an ArgumentError is caught.

4839: Use node[crunch_worker_state], not node[info][slurm_state], to make shutdown decisions.

Node Manager daemon tests avoid checking monitor.is_alive().

Checking is_alive() creates race conditions, because we might check
the actor's live state before it's had a chance to process a stop
message in its queue.  We just had a build fail because of this:
<https://ci.curoverse.com/job/arvados-api-server/1299/>.  Always check
that a monitor is alive by sending it a real message.  No issue #.

Fix undependable test (incorrectly assumed a particular job would be on the first page of /jobs). No issue #

Merge branch '4951-request-vm-TC' refs #4951

4951: Empty out ActionMailer::Base.deliveries so we can count deliveries caused by the current test.