Spark 2.1下火花流批量的固定21s持续时间,在Spark 2.0下没有

时间:2017-02-16 06:25:58

标签: apache-spark spark-streaming

Spark 2.1下导致批量流量固定21秒的原因是什么?

Spark 2.1 下,流量批量少量的块(396),其持续时间都超过21秒......只有少于21秒。

Kafka版本:0.10.0.0,Spark版本:2.1.0 火花流-卡夫卡-0-10-assembly_2.11-2.1.0.jar

a)在使用Spark 2.1.0的dev env下它具有相同的可怕状态,流量数据更少,排队的大量活动批次有0条记录。

All durations are 21s, even with 0 records

Lots of active batches with 0 records

b)同样的任务在Spark 2.0.2下使用所有相同的依赖jar 工作正常,而在Spark 2.1.0下 - 这是21s +持续时间 - 它不应该总是需要这么长的持续时间

0 个答案:

没有答案