由于内存不足,取消了snappydata作业

时间:2018-10-09 16:50:23

标签: apache-spark snappydata

由于成员'{1}'上的内存不足,我取消了 XCL54.T查询/ DML / DDL'{0}'。尝试通过向where子句添加更多过滤条件来减少搜索空间。在Zeppelin中通过将tempview数据框与分区的,基于列的snappydata表联接而在Zeppelin中创建数据框时出现查询错误。

This link建议将此表配置为驱逐行,以作为对此错误消息的故障排除措施,但它here表示表默认情况下被逐出到磁盘,这意味着表数据溢出到一个本地SnappyStore磁盘存储。所以我不确定我缺少什么。

我正在使用社区版,这可能是由于“付费”版所独有的堆外管理吗?

关于如何解决此问题的任何建议?

1 个答案:

答案 0 :(得分:0)

可能是您的spark操作也占用了大量内存。您执行了什么触发了此异常?