ElasticSearch上的Spark Streaming并发更新

时间:2017-11-14 22:35:00

标签: apache-spark elasticsearch concurrency

我在我的索引中使用Spark和ElasticSearch upserting元素。特别是Spark从Kafka读取JSON消息,并在ES上对它们进行索引。如果消息已经存在,则需要获取其中一个元素,递增计数器,更新它并将其发送到kafka以进行其他操作。

由于我的集群有多个工作人员,并且他们可能会编写相同的元素,我想知道ElasticSearch是否会遇到并发问题。如果ES可能是这种情况的理想选择。

如果没有,哪种DB可能适合这种操作。

如果另一个Spark模块可能会更新相同的元素,当该ID从处理递减字段计数器返回时递减计数器。是否存在并发问题

0 个答案:

没有答案