Spark 2.1下导致批量流量固定21秒的原因是什么?
在 Spark 2.1 下,流量批量少量的块(396),其持续时间都超过21秒......只有少于21秒。
Kafka版本:0.10.0.0,Spark版本:2.1.0 火花流-卡夫卡-0-10-assembly_2.11-2.1.0.jar
a)在使用Spark 2.1.0的dev env下它具有相同的可怕状态,流量数据更少,排队的大量活动批次有0条记录。
b)同样的任务在Spark 2.0.2下使用所有相同的依赖jar 工作正常,而在Spark 2.1.0下 - 这是21s +持续时间 - 它不应该总是需要这么长的持续时间