Question

我在使用Apache POI处理.xlsx文件时遇到了问题。我已经阅读了StackOverflow上的许多线程，以及对Intellij和Oracle站点的支持，并且我尝试过实施推荐的修复程序。每当JVM尝试处理excel文件时，我仍然会出现内存不足错误＆gt; 5 MB。作为参考，我使用8 GB RAM的iMac，并且我已经将JVM RAM分配到当前的4 GB（一次512 MB），没有运气。

我正在构建的程序处理目录中的所有excel电子表格，并将字段中的唯一值添加到HashSet中。一旦处理完所有电子表格，生成的HashSet将写入文件。

任何时候文件＆gt;遇到5 MB，无论是处理的第一个文件还是处理的最后一个文件，GC都无法跟上，我得到内存不足异常。 5 MB似乎是我成功读入和处理excel文件的限制。对我来说，一个超过5 MB的文件会让系统资源如此糟糕，这似乎很奇怪，所以我想知道问题是否在我的代码中？主要方法如下。想法？

    public class Launcher {
        public static void main(String[] args) {

            WVDataFileReader reader = new WVDataFileReader();
            HashSet<String> operators = reader.getOperatorsFromExcel("data/WV/production", 2);
            FileOutput.writeToFile(operators, "/db/mysql/mysql-files/operators");
        }
    }


public abstract class RegulatoryDataFileReader {

    private final String EXCEL_EXTENSION = "xlsx";
    protected static final Logger LOGGER = Logger.getLogger(RegulatoryDataFileReader.class.getName());


    protected abstract HashSet<String> processSheetForOperators(Sheet sheet, int firstDataRow, HashSet<String> set);

    public HashSet<String> getOperatorsFromExcel(String directory, int firstDataRow) {

        HashSet<String> temp = new HashSet<>(); 
        ArrayList<File> spreadsheets = getExcelFiles(directory); 
        Collections.sort(spreadsheets);

        for (File excelFile : spreadsheets) {
            System.out.println("Reading data from " + excelFile.getName());

            try {
                Workbook workbook = WorkbookFactory.create(excelFile);
                Sheet sheet = workbook.getSheetAt(0); // Assumes spreadsheet has 1 sheet

                processSheetForOperators(sheet, firstDataRow, temp);

                workbook.close();
            } catch (FileNotFoundException e) {
                LOGGER.log(Level.SEVERE, e.toString(), e);
            } catch (IOException e) {
                LOGGER.log(Level.SEVERE, e.toString(), e);
            } catch (InvalidFormatException e) {
                LOGGER.log(Level.SEVERE, e.toString(), e);
            }
        }
        return temp;
    }



    public class WVDataFileReader extends RegulatoryDataFileReader {

        @Override
        public HashSet<String> processSheetForOperators(Sheet sheet, int firstDataRow, HashSet<String> set) {
            Iterator<Row> rowIterator = sheet.iterator();

            if (rowIterator.hasNext()) {

                // Skip to the first row containing data
                for (int i = 1; i < firstDataRow; i++) {
                    rowIterator.next();
                }

                while (rowIterator.hasNext()) {
                    int columnNum = 0;
                    Row row = rowIterator.next(); // Advance row
                    Iterator<Cell> cellIterator = row.cellIterator(); 

                    while (cellIterator.hasNext()) {
                        columnNum++;
                        Cell cell = cellIterator.next(); // Advance cell

                        switch (columnNum) {
                            case 4:
                                cell.setCellType(Cell.CELL_TYPE_STRING);
                                String operator = cell.getStringCellValue();
                                operator = StrUtils.cleanString(operator);;
                                set.add(operator);
                                break;
                            default:
                                break;
                        }
                    }
                }
            }
            return set;
        }

    }

Answer 1

如果您只是阅读xlsx文件，我会尝试使用此库来降低Apache POI使用的内存。 https://github.com/monitorjbl/excel-streaming-reader

请注意，并非所有Apache POI API的方法都已实现，因此可能无法解决您的特定用例。

问题在于Apache POI使用大量内存，并且使用率似乎会上升，具体取决于Excel中的行数和列数（即使它们是空的）。在我的情况下，我只得到一个只有2MB的Excel文档的内存不足错误。

Apache POI OutOfMemoryError

1 个答案: