将数据从Elasticsearch转移到Influx

时间:2019-06-09 09:38:01

标签: elasticsearch apache-kafka influxdb elasticsearch-py kapacitor

我正在尝试将数据从Elasticsearch发送到Influxdb。除了编写插件和配置文件外,还有其他方法可以做到这一点。我对这两个数据库都是陌生的,并试图了解整体情况。

此外,我是否理解Kapacitor处理流入的数据,然后将其发送到Kafka进行流传输是否正确?还是应该仅使用Kapacitor传输数据?

我试图在短时间内学习所有这些新技术,所有新术语使我感到困惑。感谢您的时间和帮助。

1 个答案:

答案 0 :(得分:0)

ElasticSearch是搜索引擎,而不是数据库。 InfluxDB是时间序列数据。我不明白为什么您需要将数据从搜索结果传输到时间序列数据库。

Kapacitor可以以两种不同的方式处理数据。在批处理模式下或在流模式下。假设一些应用程序将传感器数据(或一些时间序列数据)流式传输到InfluxDb。您可以通过将kapacitor设置为流模式,将Kapacitor设置为在InfluxDB中尽快处理该数据。或者,如果您需要每2小时处理一次InfluxDB中的数据,则可以将该作业配置为批处理作业。处理完数据后,Kapacitor可以将数据保留在InfluxDB中。或者,如果您需要将数据流式传输到Kafka,则Kpacitor有一个Kafka插件。请注意,Kapacitor的插件比我在答案中提到的要多。