closes #7492
[arvados.git] / tools / keep-rsync / keep-rsync_test.go
1 package main
2
3 import (
4         "crypto/md5"
5         "fmt"
6         "io/ioutil"
7         "log"
8         "os"
9         "strings"
10         "testing"
11         "time"
12
13         "git.curoverse.com/arvados.git/sdk/go/arvadostest"
14         "git.curoverse.com/arvados.git/sdk/go/keepclient"
15
16         . "gopkg.in/check.v1"
17 )
18
19 // Gocheck boilerplate
20 func Test(t *testing.T) {
21         TestingT(t)
22 }
23
24 // Gocheck boilerplate
25 var _ = Suite(&ServerRequiredSuite{})
26 var _ = Suite(&ServerNotRequiredSuite{})
27 var _ = Suite(&DoMainTestSuite{})
28
29 // Tests that require the Keep server running
30 type ServerRequiredSuite struct{}
31 type ServerNotRequiredSuite struct{}
32 type DoMainTestSuite struct{}
33
34 func (s *ServerRequiredSuite) SetUpSuite(c *C) {
35         // Start API server
36         arvadostest.StartAPI()
37 }
38
39 func (s *ServerRequiredSuite) TearDownSuite(c *C) {
40         arvadostest.StopAPI()
41         arvadostest.ResetEnv()
42 }
43
44 var initialArgs []string
45
46 func (s *DoMainTestSuite) SetUpSuite(c *C) {
47         initialArgs = os.Args
48 }
49
50 var kcSrc, kcDst *keepclient.KeepClient
51 var srcKeepServicesJSON, dstKeepServicesJSON, blobSigningKey string
52
53 func (s *ServerRequiredSuite) SetUpTest(c *C) {
54         // reset all variables between tests
55         blobSigningKey = ""
56         srcKeepServicesJSON = ""
57         dstKeepServicesJSON = ""
58         kcSrc = &keepclient.KeepClient{}
59         kcDst = &keepclient.KeepClient{}
60 }
61
62 func (s *ServerRequiredSuite) TearDownTest(c *C) {
63         arvadostest.StopKeep(3)
64 }
65
66 func (s *DoMainTestSuite) SetUpTest(c *C) {
67         args := []string{"keep-rsync"}
68         os.Args = args
69 }
70
71 func (s *DoMainTestSuite) TearDownTest(c *C) {
72         os.Args = initialArgs
73 }
74
75 var testKeepServicesJSON = "{ \"kind\":\"arvados#keepServiceList\", \"etag\":\"\", \"self_link\":\"\", \"offset\":null, \"limit\":null, \"items\":[ { \"href\":\"/keep_services/zzzzz-bi6l4-123456789012340\", \"kind\":\"arvados#keepService\", \"etag\":\"641234567890enhj7hzx432e5\", \"uuid\":\"zzzzz-bi6l4-123456789012340\", \"owner_uuid\":\"zzzzz-tpzed-123456789012345\", \"service_host\":\"keep0.zzzzz.arvadosapi.com\", \"service_port\":25107, \"service_ssl_flag\":false, \"service_type\":\"disk\", \"read_only\":false }, { \"href\":\"/keep_services/zzzzz-bi6l4-123456789012341\", \"kind\":\"arvados#keepService\", \"etag\":\"641234567890enhj7hzx432e5\", \"uuid\":\"zzzzz-bi6l4-123456789012341\", \"owner_uuid\":\"zzzzz-tpzed-123456789012345\", \"service_host\":\"keep0.zzzzz.arvadosapi.com\", \"service_port\":25108, \"service_ssl_flag\":false, \"service_type\":\"disk\", \"read_only\":false } ], \"items_available\":2 }"
76
77 // Testing keep-rsync needs two sets of keep services: src and dst.
78 // The test setup hence creates 3 servers instead of the default 2,
79 // and uses the first 2 as src and the 3rd as dst keep servers.
80 func setupRsync(c *C, enforcePermissions bool, replications int) {
81         // srcConfig
82         var srcConfig apiConfig
83         srcConfig.APIHost = os.Getenv("ARVADOS_API_HOST")
84         srcConfig.APIToken = os.Getenv("ARVADOS_API_TOKEN")
85         srcConfig.APIHostInsecure = matchTrue.MatchString(os.Getenv("ARVADOS_API_HOST_INSECURE"))
86
87         // dstConfig
88         var dstConfig apiConfig
89         dstConfig.APIHost = os.Getenv("ARVADOS_API_HOST")
90         dstConfig.APIToken = os.Getenv("ARVADOS_API_TOKEN")
91         dstConfig.APIHostInsecure = matchTrue.MatchString(os.Getenv("ARVADOS_API_HOST_INSECURE"))
92
93         if enforcePermissions {
94                 blobSigningKey = "zfhgfenhffzltr9dixws36j1yhksjoll2grmku38mi7yxd66h5j4q9w4jzanezacp8s6q0ro3hxakfye02152hncy6zml2ed0uc"
95         }
96
97         // Start Keep servers
98         arvadostest.StartKeep(3, enforcePermissions)
99
100         // setup keepclients
101         var err error
102         kcSrc, err = setupKeepClient(srcConfig, srcKeepServicesJSON, false, 0)
103         c.Check(err, IsNil)
104
105         kcDst, err = setupKeepClient(dstConfig, dstKeepServicesJSON, true, replications)
106         c.Check(err, IsNil)
107
108         for uuid := range kcSrc.LocalRoots() {
109                 if strings.HasSuffix(uuid, "02") {
110                         delete(kcSrc.LocalRoots(), uuid)
111                 }
112         }
113         for uuid := range kcSrc.GatewayRoots() {
114                 if strings.HasSuffix(uuid, "02") {
115                         delete(kcSrc.GatewayRoots(), uuid)
116                 }
117         }
118         for uuid := range kcSrc.WritableLocalRoots() {
119                 if strings.HasSuffix(uuid, "02") {
120                         delete(kcSrc.WritableLocalRoots(), uuid)
121                 }
122         }
123
124         for uuid := range kcDst.LocalRoots() {
125                 if strings.HasSuffix(uuid, "00") || strings.HasSuffix(uuid, "01") {
126                         delete(kcDst.LocalRoots(), uuid)
127                 }
128         }
129         for uuid := range kcDst.GatewayRoots() {
130                 if strings.HasSuffix(uuid, "00") || strings.HasSuffix(uuid, "01") {
131                         delete(kcDst.GatewayRoots(), uuid)
132                 }
133         }
134         for uuid := range kcDst.WritableLocalRoots() {
135                 if strings.HasSuffix(uuid, "00") || strings.HasSuffix(uuid, "01") {
136                         delete(kcDst.WritableLocalRoots(), uuid)
137                 }
138         }
139
140         if replications == 0 {
141                 // Must have got default replications value of 2 from dst discovery document
142                 c.Assert(kcDst.Want_replicas, Equals, 2)
143         } else {
144                 // Since replications value is provided, it is used
145                 c.Assert(kcDst.Want_replicas, Equals, replications)
146         }
147 }
148
149 func (s *ServerRequiredSuite) TestRsyncPutInOne_GetFromOtherShouldFail(c *C) {
150         setupRsync(c, false, 1)
151
152         // Put a block in src and verify that it is not found in dst
153         testNoCrosstalk(c, "test-data-1", kcSrc, kcDst)
154
155         // Put a block in dst and verify that it is not found in src
156         testNoCrosstalk(c, "test-data-2", kcDst, kcSrc)
157 }
158
159 func (s *ServerRequiredSuite) TestRsyncWithBlobSigning_PutInOne_GetFromOtherShouldFail(c *C) {
160         setupRsync(c, true, 1)
161
162         // Put a block in src and verify that it is not found in dst
163         testNoCrosstalk(c, "test-data-1", kcSrc, kcDst)
164
165         // Put a block in dst and verify that it is not found in src
166         testNoCrosstalk(c, "test-data-2", kcDst, kcSrc)
167 }
168
169 // Do a Put in the first and Get from the second,
170 // which should raise block not found error.
171 func testNoCrosstalk(c *C, testData string, kc1, kc2 *keepclient.KeepClient) {
172         // Put a block using kc1
173         locator, _, err := kc1.PutB([]byte(testData))
174         c.Assert(err, Equals, nil)
175
176         locator = strings.Split(locator, "+")[0]
177         _, _, _, err = kc2.Get(keepclient.SignLocator(locator, kc2.Arvados.ApiToken, time.Now().AddDate(0, 0, 1), []byte(blobSigningKey)))
178         c.Assert(err, NotNil)
179         c.Check(err.Error(), Equals, "Block not found")
180 }
181
182 // Test keep-rsync initialization, with srcKeepServicesJSON
183 func (s *ServerRequiredSuite) TestRsyncInitializeWithKeepServicesJSON(c *C) {
184         srcKeepServicesJSON = testKeepServicesJSON
185
186         setupRsync(c, false, 1)
187
188         localRoots := kcSrc.LocalRoots()
189         c.Check(localRoots, NotNil)
190
191         foundIt := false
192         for k := range localRoots {
193                 if k == "zzzzz-bi6l4-123456789012340" {
194                         foundIt = true
195                 }
196         }
197         c.Check(foundIt, Equals, true)
198
199         foundIt = false
200         for k := range localRoots {
201                 if k == "zzzzz-bi6l4-123456789012341" {
202                         foundIt = true
203                 }
204         }
205         c.Check(foundIt, Equals, true)
206 }
207
208 // Test keep-rsync initialization with default replications count
209 func (s *ServerRequiredSuite) TestInitializeRsyncDefaultReplicationsCount(c *C) {
210         setupRsync(c, false, 0)
211 }
212
213 // Test keep-rsync initialization with replications count argument
214 func (s *ServerRequiredSuite) TestInitializeRsyncReplicationsCount(c *C) {
215         setupRsync(c, false, 3)
216 }
217
218 // Put some blocks in Src and some more in Dst
219 // And copy missing blocks from Src to Dst
220 func (s *ServerRequiredSuite) TestKeepRsync(c *C) {
221         testKeepRsync(c, false, "")
222 }
223
224 // Put some blocks in Src and some more in Dst with blob signing enabled.
225 // And copy missing blocks from Src to Dst
226 func (s *ServerRequiredSuite) TestKeepRsync_WithBlobSigning(c *C) {
227         testKeepRsync(c, true, "")
228 }
229
230 // Put some blocks in Src and some more in Dst
231 // Use prefix while doing rsync
232 // And copy missing blocks from Src to Dst
233 func (s *ServerRequiredSuite) TestKeepRsync_WithPrefix(c *C) {
234         data := []byte("test-data-4")
235         hash := fmt.Sprintf("%x", md5.Sum(data))
236
237         testKeepRsync(c, false, hash[0:3])
238         c.Check(len(dstIndex) > len(dstLocators), Equals, true)
239 }
240
241 // Put some blocks in Src and some more in Dst
242 // Use prefix not in src while doing rsync
243 // And copy missing blocks from Src to Dst
244 func (s *ServerRequiredSuite) TestKeepRsync_WithNoSuchPrefixInSrc(c *C) {
245         testKeepRsync(c, false, "999")
246         c.Check(len(dstIndex), Equals, len(dstLocators))
247 }
248
249 // Put 5 blocks in src. Put 2 of those blocks in dst
250 // Hence there are 3 additional blocks in src
251 // Also, put 2 extra blocks in dst; they are hence only in dst
252 // Run rsync and verify that those 7 blocks are now available in dst
253 func testKeepRsync(c *C, enforcePermissions bool, prefix string) {
254         setupRsync(c, enforcePermissions, 1)
255
256         // setupTestData
257         setupTestData(c, prefix)
258
259         err := performKeepRsync(kcSrc, kcDst, blobSigningKey, prefix)
260         c.Check(err, IsNil)
261
262         // Now GetIndex from dst and verify that all 5 from src and the 2 extra blocks are found
263         dstIndex, err = getUniqueLocators(kcDst, "")
264         c.Check(err, IsNil)
265
266         for _, locator := range srcLocatorsMatchingPrefix {
267                 _, ok := dstIndex[locator]
268                 c.Assert(ok, Equals, true)
269         }
270
271         for _, locator := range extraDstLocators {
272                 _, ok := dstIndex[locator]
273                 c.Assert(ok, Equals, true)
274         }
275
276         if prefix == "" {
277                 // all blocks from src and the two extra blocks
278                 c.Assert(len(dstIndex), Equals, len(srcLocators)+len(extraDstLocators))
279         } else {
280                 // 1 matching prefix and copied over, 2 that were initially copied into dst along with src, and the 2 extra blocks
281                 c.Assert(len(dstIndex), Equals, len(srcLocatorsMatchingPrefix)+len(extraDstLocators)+2)
282         }
283 }
284
285 // Setup test data in src and dst.
286 var srcLocators, srcLocatorsMatchingPrefix, dstLocators, extraDstLocators []string
287 var dstIndex map[string]bool
288
289 func setupTestData(c *C, indexPrefix string) {
290         srcLocators = []string{}
291         srcLocatorsMatchingPrefix = []string{}
292         dstLocators = []string{}
293         extraDstLocators = []string{}
294         dstIndex = make(map[string]bool)
295
296         // Put a few blocks in src using kcSrc
297         for i := 0; i < 5; i++ {
298                 hash, _, err := kcSrc.PutB([]byte(fmt.Sprintf("test-data-%d", i)))
299                 c.Check(err, IsNil)
300
301                 srcLocators = append(srcLocators, strings.Split(hash, "+A")[0])
302                 if strings.HasPrefix(hash, indexPrefix) {
303                         srcLocatorsMatchingPrefix = append(srcLocatorsMatchingPrefix, strings.Split(hash, "+A")[0])
304                 }
305         }
306
307         // Put first two of those src blocks in dst using kcDst
308         for i := 0; i < 2; i++ {
309                 hash, _, err := kcDst.PutB([]byte(fmt.Sprintf("test-data-%d", i)))
310                 c.Check(err, IsNil)
311                 dstLocators = append(dstLocators, strings.Split(hash, "+A")[0])
312         }
313
314         // Put two more blocks in dst; they are not in src at all
315         for i := 0; i < 2; i++ {
316                 hash, _, err := kcDst.PutB([]byte(fmt.Sprintf("other-data-%d", i)))
317                 c.Check(err, IsNil)
318                 dstLocators = append(dstLocators, strings.Split(hash, "+A")[0])
319                 extraDstLocators = append(extraDstLocators, strings.Split(hash, "+A")[0])
320         }
321 }
322
323 // Setup rsync using srcKeepServicesJSON with fake keepservers.
324 // Expect error during performKeepRsync due to unreachable src keepservers.
325 func (s *ServerRequiredSuite) TestErrorDuringRsync_FakeSrcKeepservers(c *C) {
326         srcKeepServicesJSON = testKeepServicesJSON
327
328         setupRsync(c, false, 1)
329
330         err := performKeepRsync(kcSrc, kcDst, "", "")
331         log.Printf("Err = %v", err)
332         c.Check(strings.Contains(err.Error(), "no such host"), Equals, true)
333 }
334
335 // Setup rsync using dstKeepServicesJSON with fake keepservers.
336 // Expect error during performKeepRsync due to unreachable dst keepservers.
337 func (s *ServerRequiredSuite) TestErrorDuringRsync_FakeDstKeepservers(c *C) {
338         dstKeepServicesJSON = testKeepServicesJSON
339
340         setupRsync(c, false, 1)
341
342         err := performKeepRsync(kcSrc, kcDst, "", "")
343         log.Printf("Err = %v", err)
344         c.Check(strings.Contains(err.Error(), "no such host"), Equals, true)
345 }
346
347 // Test rsync with signature error during Get from src.
348 func (s *ServerRequiredSuite) TestErrorDuringRsync_ErrorGettingBlockFromSrc(c *C) {
349         setupRsync(c, true, 1)
350
351         // put some blocks in src and dst
352         setupTestData(c, "")
353
354         // Change blob signing key to a fake key, so that Get from src fails
355         blobSigningKey = "thisisfakeblobsigningkey"
356
357         err := performKeepRsync(kcSrc, kcDst, blobSigningKey, "")
358         c.Check(strings.Contains(err.Error(), "HTTP 403 \"Forbidden\""), Equals, true)
359 }
360
361 // Test rsync with error during Put to src.
362 func (s *ServerRequiredSuite) TestErrorDuringRsync_ErrorPuttingBlockInDst(c *C) {
363         setupRsync(c, false, 1)
364
365         // put some blocks in src and dst
366         setupTestData(c, "")
367
368         // Increase Want_replicas on dst to result in insufficient replicas error during Put
369         kcDst.Want_replicas = 2
370
371         err := performKeepRsync(kcSrc, kcDst, blobSigningKey, "")
372         c.Check(strings.Contains(err.Error(), "Could not write sufficient replicas"), Equals, true)
373 }
374
375 // Test loadConfig func
376 func (s *ServerNotRequiredSuite) TestLoadConfig(c *C) {
377         // Setup a src config file
378         srcFile := setupConfigFile(c, "src-config")
379         defer os.Remove(srcFile.Name())
380         srcConfigFile := srcFile.Name()
381
382         // Setup a dst config file
383         dstFile := setupConfigFile(c, "dst-config")
384         defer os.Remove(dstFile.Name())
385         dstConfigFile := dstFile.Name()
386
387         // load configuration from those files
388         srcConfig, srcBlobSigningKey, err := loadConfig(srcConfigFile)
389         c.Check(err, IsNil)
390
391         c.Assert(srcConfig.APIHost, Equals, os.Getenv("ARVADOS_API_HOST"))
392         c.Assert(srcConfig.APIToken, Equals, os.Getenv("ARVADOS_API_TOKEN"))
393         c.Assert(srcConfig.APIHostInsecure, Equals, matchTrue.MatchString(os.Getenv("ARVADOS_API_HOST_INSECURE")))
394         c.Assert(srcConfig.ExternalClient, Equals, false)
395
396         dstConfig, _, err := loadConfig(dstConfigFile)
397         c.Check(err, IsNil)
398
399         c.Assert(dstConfig.APIHost, Equals, os.Getenv("ARVADOS_API_HOST"))
400         c.Assert(dstConfig.APIToken, Equals, os.Getenv("ARVADOS_API_TOKEN"))
401         c.Assert(dstConfig.APIHostInsecure, Equals, matchTrue.MatchString(os.Getenv("ARVADOS_API_HOST_INSECURE")))
402         c.Assert(dstConfig.ExternalClient, Equals, false)
403
404         c.Assert(srcBlobSigningKey, Equals, "abcdefg")
405 }
406
407 // Test loadConfig func without setting up the config files
408 func (s *ServerNotRequiredSuite) TestLoadConfig_MissingSrcConfig(c *C) {
409         _, _, err := loadConfig("")
410         c.Assert(err.Error(), Equals, "config file not specified")
411 }
412
413 // Test loadConfig func - error reading config
414 func (s *ServerNotRequiredSuite) TestLoadConfig_ErrorLoadingSrcConfig(c *C) {
415         _, _, err := loadConfig("no-such-config-file")
416         c.Assert(strings.Contains(err.Error(), "no such file or directory"), Equals, true)
417 }
418
419 func setupConfigFile(c *C, name string) *os.File {
420         // Setup a config file
421         file, err := ioutil.TempFile(os.TempDir(), name)
422         c.Check(err, IsNil)
423
424         fileContent := "ARVADOS_API_HOST=" + os.Getenv("ARVADOS_API_HOST") + "\n"
425         fileContent += "ARVADOS_API_TOKEN=" + os.Getenv("ARVADOS_API_TOKEN") + "\n"
426         fileContent += "ARVADOS_API_HOST_INSECURE=" + os.Getenv("ARVADOS_API_HOST_INSECURE") + "\n"
427         fileContent += "ARVADOS_EXTERNAL_CLIENT=false\n"
428         fileContent += "ARVADOS_BLOB_SIGNING_KEY=abcdefg"
429
430         _, err = file.Write([]byte(fileContent))
431         c.Check(err, IsNil)
432
433         return file
434 }
435
436 func (s *DoMainTestSuite) Test_doMain_NoSrcConfig(c *C) {
437         err := doMain()
438         c.Check(err, NotNil)
439         c.Assert(err.Error(), Equals, "Error loading src configuration from file: config file not specified")
440 }
441
442 func (s *DoMainTestSuite) Test_doMain_SrcButNoDstConfig(c *C) {
443         srcConfig := setupConfigFile(c, "src")
444         args := []string{"-replications", "3", "-src", srcConfig.Name()}
445         os.Args = append(os.Args, args...)
446         err := doMain()
447         c.Check(err, NotNil)
448         c.Assert(err.Error(), Equals, "Error loading dst configuration from file: config file not specified")
449 }
450
451 func (s *DoMainTestSuite) Test_doMain_BadSrcConfig(c *C) {
452         args := []string{"-src", "abcd"}
453         os.Args = append(os.Args, args...)
454         err := doMain()
455         c.Check(err, NotNil)
456         c.Assert(strings.HasPrefix(err.Error(), "Error loading src configuration from file: Error reading config file"), Equals, true)
457 }
458
459 func (s *DoMainTestSuite) Test_doMain_WithReplicationsButNoSrcConfig(c *C) {
460         args := []string{"-replications", "3"}
461         os.Args = append(os.Args, args...)
462         err := doMain()
463         c.Check(err, NotNil)
464         c.Assert(err.Error(), Equals, "Error loading src configuration from file: config file not specified")
465 }
466
467 func (s *DoMainTestSuite) Test_doMainWithSrcAndDstConfig(c *C) {
468         srcConfig := setupConfigFile(c, "src")
469         dstConfig := setupConfigFile(c, "dst")
470         args := []string{"-src", srcConfig.Name(), "-dst", dstConfig.Name()}
471         os.Args = append(os.Args, args...)
472
473         // Start keepservers. Since we are not doing any tweaking as in setupRsync func,
474         // kcSrc and kcDst will be the same and no actual copying to dst will happen, but that's ok.
475         arvadostest.StartKeep(2, false)
476
477         err := doMain()
478         c.Check(err, IsNil)
479 }