我有一个python spark工作。它运行在一个非常小的数据集(小于8kb)上。但是,当它运行时失败并出现以下错误::
2017-02-10 10:06:58,402 ERROR [stdout writer for python] util.Utils (Logging.scala:logError(95)) - 线程标准输出中未捕获的异常 python的编写器java.lang.OutOfMemoryError:无法获取172 内存字节,得到0 org.apache.spark.memory.MemoryConsumer.allocatePage(MemoryConsumer.java:120) 在 org.apache.spark.util.collection.unsafe.sort.UnsafeExternalSorter.acquireNewPageIfNecessary(UnsafeExternalSorter.java:321) 在 org.apache.spark.util.collection.unsafe.sort.UnsafeExternalSorter.insertRecord(UnsafeExternalSorter.java:336) 在 org.apache.spark.sql.execution.UnsafeExternalRowSorter.insertRow(UnsafeExternalRowSorter.java:91) 在 org.apache.spark.sql.execution.UnsafeExternalRowSorter.sort(UnsafeExternalRowSorter.java:168) 在 org.apache.spark.sql.execution.Sort $$ anonfun $ 1.适用(Sort.scala:90) 在 org.apache.spark.sql.execution.Sort $$ anonfun $ 1.适用(Sort.scala:64)
知道发生了什么事吗?我用Google搜索,但没有找到任何可以帮助我的东西。我确实看到很多关于这与火花内存泄漏相关的帖子,但它们似乎已经修复了火花(我有火花1.6)。
任何帮助或指示赞赏。