从大文件中提取数据excel

Question

我使用Pentaho Data Integration创建从xlsx文件到mysql的转换，但我无法使用Excel 2007 xlsx(apache POI Straiming)从大文件导入数据。它给了我内存错误。

Answer 1

你试过这个选项吗？

高级设置 - ＆gt;生成模式 - ＆gt;大型Excel的内存消耗较少（事件模式

）

（您需要检查＆＃34;阅读excel2007文件格式＆＃34;首先）

Answer 2

我建议你在运行转换之前增加jvm内存分配。默认情况下，pentaho数据集成aka kettle带有低内存分配，这会导致运行涉及大文件的ETL时出现问题。您需要修改-Xmx值，以便相应地在spoon.bat中指定更大的内存上限。

如果您在窗口中使用勺子并在下面的行中编辑spoon.bat。

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xmx512m" "-XX:MaxPermSize=256m"

如果您使用的是厨房或平底锅，请相应地在那些pan.bat或kitchen.bat中进行编辑。如果您在linux中使用，请更改.sh文件。