我正在处理一个应用程序,
从数据提供者接收流式键值数据(当您连接到数据提供者时,它会在第一次请求时向您发送所有可用数据,然后在进一步请求时向您发送数据更新)
我们将此数据转储给Kafka(使用Kafka作为数据存储区)
然后使用LogStash将此数据推送到ElasticSearch(用于增强查询和其他功能)
然后我们有一个NodeJS Server + ReactJS UI,其功能是 要么显示所有可用数据 要么 根据用户指定的密钥过滤和显示选择性数据 通过从elasticsearch获取
我已经在NodeJS服务器上对ElasticSearch的数据进行了定期轮询,但这对我来说并不是一个有效的解决方案,而且认为基于事件的解决方案会更有效率。
我搜索了一种从NodeJS服务器订阅ElasticSearch以进行数据更新的方法(基于在UI上指定的过滤器),但找不到任何。
有没有更好的方法来处理这个问题?像ElasticSearch(或Kafka那样 - 但不使用Kafka Streaming API)推动数据更新?