Spark executor类每次都创建新的序列化器

时间:2018-07-12 06:43:23

标签: apache-spark kryo

我在本地模式下使用Spark 2.3.1,我发现创建Kyro序列化程序时所有线程都被阻塞。

当我查看代码时,发现以下行:

(org.apache.spark.executor.Executor: 319)
val resultSer = env.serializer.newInstance()

在使用方法的内部

val clazz = Utils.classForName(name)

在同步的205行

code screenshot

为什么不通过使用ThreadLocal或其他方式重用类?

0 个答案:

没有答案