为什么Apache Flink在方法org.apache.flink.api.java.typeutils.runtime.kryo.Serializers.getContainedGenericTypes中停顿?

时间:2017-03-17 15:19:14

标签: scala apache-flink kryo

在实现我的算法时,我在Apache Flink中使用for循环创建了一长串运算符。从方法中的一些长度处理停顿开始 实际处理之前很长一段时间org.apache.flink.api.java.typeutils.runtime.kryo.Serializers.getContainedGenericTypes。怎么能解释这个现象?如何减少这种方法时间?

enter image description here

1 个答案:

答案 0 :(得分:0)

仅在Serializers.getContainedGenericTypes()应用程序的计划创建期间调用DataSet方法。

设置ExecutionConfig.disableAutoTypeRegistration()将禁用此注册。

我假设您在没有大量数据的情况下在本地运行Flink应用程序。通常,计划创建仅占用可用CPU时间的一小部分,并且实际处理占用了大部分时间。