什么是接收器完成获取所有记录后触发流式上下文停止的最佳方式

时间:2015-04-06 18:25:06

标签: apache-spark spark-streaming

我已经实现了一个自定义接收器,可以连续从多个x记录中获取Elastic Search中的数据。一旦接收器完成从Elastic Search获取特定查询的所有记录,我想停止流式上下文。这样做的最佳方法是什么?

1 个答案:

答案 0 :(得分:0)

您必须决定“最长时间”才能成功获取所有x条记录,然后应用ssc.awaitTermination(Max time);功能,或者您可以使用ssc.stop();

手动停止流式上下文