Couchbase / Elasticsearch连接器，用于多个存储桶

Question

是否有一种方法可以使用单个配置文件将2个或多个Couchbase存储桶复制到elasticsearch？

我实际上使用了这个版本的沙发床elasticsearch连接器： https://docs.couchbase.com/elasticsearch-connector/4.0/index.html

我确实正确复制了数据，但是每次都需要使用不同的配置文件（.toml）在每个存储区中运行命令。

由于已使用度量标准端口31415，因此不能在同一服务器上多次运行cbes命令。

有没有办法一次处理多个连接器组？

Answer 1

在版本4.0中，单个连接器进程只能从一个存储桶中复制。这是因为索引规则和与Couchbase Server的所有基础网络连接都位于存储桶级别。

当前建议是创建多个配置文件并运行多个连接器进程。据了解，如果您要复制大量存储桶，则管理起来可能会很复杂。

如果您愿意发挥创造力，则可以将相同的配置文件 template 用于多个存储桶。这个想法是，您要编写一个包含一些占位符的配置文件，然后通过运行一个脚本来生成 actual 配置文件，该脚本将每个连接器的占位符替换为正确的值。

连接器的下一次更新将添加built-in support for environment variable substitution in the config file。这样可以简化模板制作方法。

以下是一些避免度量标准端口冲突的选项：

• 通过将httpPort部分中的[metrics]键设置为-1来禁用指标报告。
• 或通过将随机端口设置为0来使用。
• 或使用上述模板思想，并将唯一的端口号插入每个生成的配置文件中。

---

值得一提的是，连接器的未来版本将支持我们称为“ Autonomous Operations Mode”的东西。当连接器在此模式下运行时，配置将存储在中央位置（可能是Consul服务器）。可以即时重新配置连接器组，并向该组添加或删除工作进程，而不必停止所有工作进程并编辑其配置文件。希望这将简化大型部署的管理。