标签: apache-spark spark-streaming
大家好:我在Sparkstreaming集群上发现了一个问题。
我们建立了一个消费者来使用d-stream方式消费kafka消息,我发现每批次大约需要0.7-0.8s。每个批次上最多的时间是任务反序列化。
但是有一个奇怪的事情:如果一个执行程序被分配了1个或多个1个任务,则该执行程序似乎对第一个任务执行反序列化的工作非常慢,而在之后,反序列化的时间要快100倍。其他任务
有人可以帮助我吗?谢谢