Sparksteaming任务反序列化在第一时间慢吗?

时间:2019-01-16 10:19:42

标签: apache-spark spark-streaming

大家好:我在Sparkstreaming集群上发现了一个问题。

我们建立了一个消费者来使用d-stream方式消费kafka消息,我发现每批次大约需要0.7-0.8s。每个批次上最多的时间是任务反序列化。

但是有一个奇怪的事情:如果一个执行程序被分配了1个或多个1个任务,则该执行程序似乎对第一个任务执行反序列化的工作非常慢,而在之后,反序列化的时间要快100倍。其他任务 enter image description here

有人可以帮助我吗?谢谢

0 个答案:

没有答案