3706: Remove automatic normalization. Add --normalize option to
[arvados.git] / services / keepstore / keepstore.go
index 79ce9684593d71cd27e936290f2dca9f1970bff9..c899d5166a6f9871ffbd7c18c187eb0cc5df9ad6 100644 (file)
@@ -4,7 +4,6 @@ import (
        "bytes"
        "flag"
        "fmt"
-       "git.curoverse.com/arvados.git/services/keepstore/pull_list"
        "io/ioutil"
        "log"
        "net"
@@ -92,11 +91,16 @@ func (e *KeepError) Error() string {
 // Initialized by the --volumes flag (or by FindKeepVolumes).
 var KeepVM VolumeManager
 
-// The pull list manager is responsible for pulling blocks from other
-// Keep servers to ensure replication. When Keep receives a new "pull
-// list" from Data Manager, the pull manager is responsible for fetching
-// blocks on the list.
-var pullmgr *pull_list.Manager
+// The pull list manager and trash queue are threadsafe queues which
+// support atomic update operations. The PullHandler and TrashHandler
+// store results from Data Manager /pull and /trash requests here.
+//
+// See the Keep and Data Manager design documents for more details:
+// https://arvados.org/projects/arvados/wiki/Keep_Design_Doc
+// https://arvados.org/projects/arvados/wiki/Data_Manager_Design_Doc
+//
+var pullq *WorkQueue
+var trashq *WorkQueue
 
 // TODO(twp): continue moving as much code as possible out of main
 // so it can be effectively tested. Esp. handling and postprocessing