使用Spark 2.1.1时,我看到"检测到托管内存泄漏"我的日志文件中的错误没有其他堆栈跟踪。我应该关注这些错误吗?他们是否在我的代码中提出了潜在的问题?
以下是我的设置:
spark.master=local[*]
spark.memory.storageFraction=0.2
记录以下消息:
[Stage 1:======================================================>(615 + 1) / 616]
[Stage 2:===> (42 + 17) / 616]
[Stage 2:=====> (64 + 16) / 616]
[Stage 2:=======> (83 + 16) / 616]
[Stage 2:========> 00:57:11 ERROR org.apache.spark.executor.Executor - Managed memory leak detected; size = 5286192 bytes, TID = 1365
(102 + 16) / 616]
[Stage 2:==========> (125 + 16) / 616]
[Stage 2:============> (145 + 16) / 616]
[Stage 2:==============> (164 + 17) / 616]
[Stage 2:===============> (181 + 16) / 616]
[Stage 2:=================> 00:57:11 ERROR org.apache.spark.executor.Executor - Managed memory leak detected; size = 5274642 bytes, TID = 1448
(203 + 16) / 616]
[Stage 2:===================> (227 + 17) / 616]
[Stage 2:=====================> (248 + 16) / 616]
[Stage 2:======================> (261 + 18) / 616]
[Stage 2:========================> (284 + 16) / 616]
[Stage 2:==========================> (307 + 16) / 616]
[Stage 2:============================> (330 + 16) / 616]
[Stage 2:==============================> (352 + 17) / 616]
[Stage 2:================================> (375 + 16) / 616]
[Stage 2:==================================> (39600:57:14 ERROR org.apache.spark.executor.Executor - Managed memory leak detected; size = 5359872 bytes, TID = 1667