Question

在使用gocb的go代码中，我们正在查询返回32k id的视图。然后，我们按照CouchBase blog post中的说明执行批量查询（请参见下面的代码）。但是，我们只得到部分结果。我们可以看到ruleset, _ := items[i].(*gocb.GetOp).Value.(*RuleSet)仅返回前2048个ID的值。然后，id 2049至11322不包含值，依此类推。我们的结果看起来像这样：

Line 1 Key: 12345678901234567890123456789012, Value: map[0.0.0.0/0:map[jsona:valueofjsona]]
...
Line 2018 Key: 12345678901234567890123456712345, Value: map[0.0.0.0/0:map[jsona:valueofjsona]]
Line 2019 Key: 12345678901234567890123456712345, Value: map[]
...
Line 11323 Key: 12345678901234567890123456712347, Value: map[jsonb:valueofjsonb]]

（以上几行已简化，键与实际数据不匹配，值也不匹配。）

大部分请求的数据实际上没有返回：

CB# grep '\[\]' result.out |wc -l
27042
CB# wc -l result.out
31988 rdmp.out

bucket.do是否在完成所有查询处理之前返回？我们查看了API代码，找不到解释。

有什么办法解决这个问题吗？

type RuleSet struct {
    Rules map[string]interface{} "json:\"rules,\""
}

func DiffViaBulkQuery() {
  var items []gocb.BulkOp
  var row interface{}
  var cnt int = 0
  bucket := cbase.MyBucket()

// [...]
// add 600k entries to itemsget in a loop like 
// itemsGet = append(itemsGet, &gocb.GetOp{Key: key + "_" + strconv.Itoa(i), Value: &Doc{}})


// Perform the bulk operation to Get all documents
  err = bucket.Do(itemsGet)
  if err != nil {
    fmt.Println("ERRROR PERFORMING BULK GET:", err)
  }

// Print the output
  for i := 0; i < len(itemsGet); i++ {
    fmt.Println(itemsGet[i].(*gocb.GetOp).Key, itemsGet[i].(*gocb.GetOp).Value.(*Doc).Item)
  }

提前，托斯滕

Answer 1

值得检查您正在执行的每个操作的错误值。您可以通过执行op.Err来做到这一点，例如，

    for i := 0; i < len(items); i++ {
    fmt.Println(items[i].(*gocb.GetOp).Key, items[i].(*gocb.GetOp).Value.(*Doc).Item, items[i].(*gocb.GetOp).Err)
}

我希望您会看到遇到queue overflowed错误，这是因为gocb调度程序队列已满，默认情况下最大大小为2048个项目。解决方案通常是分批进行工作，以免使gocb过载。 https://forums.couchbase.com/t/bulk-upsert-data-into-couchbase/17354/2

上的示例也存在类似问题

Couchbase Gocb批量操作可提供部分为空的结果

1 个答案: