如何重置couchbase和elasticsearch之间的复制流

时间:2015-12-05 20:04:00

标签: elasticsearch couchbase

我将couchbase群集设置为数据的主要来源。通过Couchbase Transport Plugin for ElasticSearch(https://github.com/couchbaselabs/elasticsearch-transport-couchbase)将数据子集同步到elasticsearch集群,该插件设置从couchbase到elasticsearch的XDCR流。

由于elasticsearch集群存在一些问题,所有数据都需要再次从couchbase同步到elasticsearch。我尝试重新创建XDCR,但这似乎没有帮助,因为它只复制了一小部分文档。有没有办法实现这一目标?

其他详情

  • Couchbase版本:3.1.0
  • 沙发基础文件数量:50K +
  • 同步到elasticsearch的文件:大约700(预计20K +)
  • 如果修改了couchbase中的文档,则会成功同步到elasticsearch

1 个答案:

答案 0 :(得分:0)

您遇到的问题可能出现在下列问题之一:XDCR,Elasticsearch的Couchbase传输插件或Elasticsearch本身。

  • 首先检查XDCR错误。您可以找到您的XDCR日志using these instructions。请注意,Transport Plugin使用XDCR v1,而Couchbase中的其他几乎所有内容都使用v2。

  • 参考troubleshooting the Couchbase Transport Plugin for Elasticsearch中的建议。即使它们来自4.0文档,说明也适合您。

  • 注意文档如何映射到Elasticsearch。您提到您只希望将一部分文档同步到Elasticsearch,因此您可能丢失了设置或配置错误。您可以启用日志记录并观察一小组测试数据。在TRACE级别,您应该能够看到每个被检查的文档。

  • 如果所有这些都失败了,请按照Couchbase文档中的说明,通过索引啤酒样本数据集来确保基本工作正常。 ES可能不是问题,但使用新的ES实例进行测试将排除该方面的问题。