Spark异步保存

时间:2016-09-21 19:01:24

标签: elasticsearch apache-spark spark-streaming

我们有一个火花流工作,它将输出写入ElasticSearch。当弹性搜索由于任何原因而变慢时,火花作业无限期地等待,这导致它累积数据并且对流媒体作业本身具有滚雪球效果。使流媒体作业稳定的唯一解决方案是重新启动它。

有没有办法将弹性搜索的spark写入指定为异步?我试着查看https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html并且没有看到任何选项进行异步写入。

0 个答案:

没有答案