Pentaho |超出了GC开销限制

Question

我想将xlsx文件中的数据插入表中。 Excel有大约1,20,000条记录。但是在运行转换时，我遇到了错误：

  

超出GC开销限额

我已更改spoon.bat。

Xmx2g -XX:MaxPermSize=1024m

但我仍然收到此错误。

有人可以帮忙吗？

Answer 1

在我的情况下，除了添加Xms和Xmx参数（没有完全解决它）之外，我将选项-XX：-UseGCOverheadLimit添加到spoon.sh并解决了问题。

Answer 2

这是apache POI的已知错误。 xlsx输入步骤无法读取大文件。 在这种情况下，我通常会将文件转换为CVS。 这是jira案例。 http://jira.pentaho.com/browse/PDI-5269

环境变量PENTAHO_DI_JAVA_OPTIONS用于为jre的起始添加选项。我的设置为＆＃34; -Xms512m -Xmx3000M -XX：MaxPermSize = 256m＆＃34;

Answer 3

将文件拆分为两个不同的文件，将一半的数据保存在一个文件中，其余的保存在另一个文件中。效果很好。