标签: apache-spark kryo
我在本地模式下使用Spark 2.3.1,我发现创建Kyro序列化程序时所有线程都被阻塞。
当我查看代码时,发现以下行:
(org.apache.spark.executor.Executor: 319) val resultSer = env.serializer.newInstance()
在使用方法的内部
val clazz = Utils.classForName(name)
在同步的205行
为什么不通过使用ThreadLocal或其他方式重用类?
ThreadLocal