是否有可能从elasticsearch推送数据更新?

时间:2018-02-07 05:23:42

标签: node.js elasticsearch apache-kafka

我正在处理一个应用程序,

  1. 从数据提供者接收流式键值数据(当您连接到数据提供者时,它会在第一次请求时向您发送所有可用数据,然后在进一步请求时向您发送数据更新)

  2. 我们将此数据转储给Kafka(使用Kafka作为数据存储区)

  3. 然后使用LogStash将此数据推送到ElasticSearch(用于增强查询和其他功能)

  4. 然后我们有一个NodeJS Server + ReactJS UI,其功能是 要么显示所有可用数据              要么 根据用户指定的密钥过滤和显示选择性数据 通过从elasticsearch获取

  5. 我已经在NodeJS服务器上对ElasticSearch的数据进行了定期轮询,但这对我来说并不是一个有效的解决方案,而且认为基于事件的解决方案会更有效率。

    我搜索了一种从NodeJS服务器订阅ElasticSearch以进行数据更新的方法(基于在UI上指定的过滤器),但找不到任何。

    有没有更好的方法来处理这个问题?像ElasticSearch(或Kafka那样 - 但不使用Kafka Streaming API)推动数据更新?

1 个答案:

答案 0 :(得分:0)