火花流 - 单个地段将花费40秒

时间:2017-06-23 10:23:16

标签: apache-spark spark-streaming

我有一个火花流项目,从kafka读取数据,一分钟处理批次。

大部分时间他都很正常,一般处理时间约为40秒,但偶尔需要80秒。

我看到了webUI,有时一个执行器增加40秒,有时候所有执行器增加40秒,我检查过很多地方,而且更多的没有找到问题,有没有人能给出一些想法?

0 个答案:

没有答案