将Couchbase复制到ElasticSearch（带多个索引）

Question

目前我们正在使用Couchbase和ElasticSearch（2.x）并使用elasticsearch-transport-couchbase插件成功地将数据从CB复制到ES。

升级到ES 5.6.4时问题就出现了。到目前为止，我们在ES中使用了一个索引，并且由于ElasticSearch doesn't recommend this approach anymore我们现在正在尝试在ES中创建多个索引（每个类型的索引） 这意味着我们需要一种方法将数据从CB（单个存储桶）复制到ES（多个索引）。

最好的方法是什么？ 可能的解决方案：

1. 继续使用elasticsearch-transport-couchbase插件，但是我们必须创建大量（~150）XDCR复制，每种类型1次复制。我怀疑这会扩大..
2. 使用Spark或Kafka编写我们自己的解决方案（它们都不在技术堆栈中，因此实施可能需要时间，因此它不是最有利的解决方案）

任何帮助都将不胜感激。

Answer 1

Couchbase Elasticsearch Connector的版本4支持新的“按类型索引”模型（以及其他功能，包括对ES 6，安全连接和复制检查点管理工具的支持）。如果您想尝试一下，您的反馈将非常宝贵。

免责声明：我是Couchbase的一名员工，负责开发Elasticsearch连接器。