org.apache.spark.memory.MemoryConsumer.allocatePage中的内存不足异常

时间:2017-02-10 21:26:47

标签: python apache-spark

我有一个python spark工作。它运行在一个非常小的数据集(小于8kb)上。但是,当它运行时失败并出现以下错误::

  

2017-02-10 10:06:58,402 ERROR [stdout writer for python] util.Utils   (Logging.scala:logError(95)) - 线程标准输出中未捕获的异常   python的编写器java.lang.OutOfMemoryError:无法获取172   内存字节,得到0   org.apache.spark.memory.MemoryConsumer.allocatePage(MemoryConsumer.java:120)     在   org.apache.spark.util.collection.unsafe.sort.UnsafeExternalSorter.acquireNewPageIfNecessary(UnsafeExternalSorter.java:321)     在   org.apache.spark.util.collection.unsafe.sort.UnsafeExternalSorter.insertRecord(UnsafeExternalSorter.java:336)     在   org.apache.spark.sql.execution.UnsafeExternalRowSorter.insertRow(UnsafeExternalRowSorter.java:91)     在   org.apache.spark.sql.execution.UnsafeExternalRowSorter.sort(UnsafeExternalRowSorter.java:168)     在   org.apache.spark.sql.execution.Sort $$ anonfun $ 1.适用(Sort.scala:90)     在   org.apache.spark.sql.execution.Sort $$ anonfun $ 1.适用(Sort.scala:64)

知道发生了什么事吗?我用Google搜索,但没有找到任何可以帮助我的东西。我确实看到很多关于这与火花内存泄漏相关的帖子,但它们似乎已经修复了火花(我有火花1.6)。

任何帮助或指示赞赏。

0 个答案:

没有答案