Spark 2.1.1检测到内存泄漏

时间:2018-01-05 01:08:05

标签: apache-spark memory-leaks

使用Spark 2.1.1时,我看到"检测到托管内存泄漏"我的日志文件中的错误没有其他堆栈跟踪。我应该关注这些错误吗?他们是否在我的代码中提出了潜在的问题?

以下是我的设置:

spark.master=local[*]
spark.memory.storageFraction=0.2

记录以下消息:

[Stage 1:======================================================>(615 + 1) / 616]
[Stage 2:===>                                                   (42 + 17) / 616]
[Stage 2:=====>                                                 (64 + 16) / 616]
[Stage 2:=======>                                               (83 + 16) / 616]
[Stage 2:========>                               00:57:11 ERROR org.apache.spark.executor.Executor  - Managed memory leak detected; size = 5286192 bytes, TID = 1365
              (102 + 16) / 616]
[Stage 2:==========>                                           (125 + 16) / 616]
[Stage 2:============>                                         (145 + 16) / 616]
[Stage 2:==============>                                       (164 + 17) / 616]
[Stage 2:===============>                                      (181 + 16) / 616]
[Stage 2:=================> 00:57:11 ERROR org.apache.spark.executor.Executor  - Managed memory leak detected; size = 5274642 bytes, TID = 1448
                                   (203 + 16) / 616]
[Stage 2:===================>                                  (227 + 17) / 616]
[Stage 2:=====================>                                (248 + 16) / 616]
[Stage 2:======================>                               (261 + 18) / 616]
[Stage 2:========================>                             (284 + 16) / 616]
[Stage 2:==========================>                           (307 + 16) / 616]
[Stage 2:============================>                         (330 + 16) / 616]
[Stage 2:==============================>                       (352 + 17) / 616]
[Stage 2:================================>                     (375 + 16) / 616]
[Stage 2:==================================>                   (39600:57:14 ERROR org.apache.spark.executor.Executor  - Managed memory leak detected; size = 5359872 bytes, TID = 1667

0 个答案:

没有答案