在Java中将大型文本文件解析为块

时间:2013-10-05 11:36:09

标签: java file parsing java.util.scanner bufferedreader

我想收到一些关于我将用Java解决的小问题的建议。

我有一个包含以下格式的文件:

@
some text
some text
some text

@
some text
some text
some text

@
some text
some text
some text

......等等。

我需要读取此文本文件的下一个块,然后创建一个读取块的InputStream对象,并将InputStream对象传递给解析器。我必须为文本文件中的每个块重复这些操作。每个块都写在以@开头的行之间。问题是使用解析器解析@标签之间的每个部分,解析器应该从InputStream中读取每个块。

文本文件可能很大,所以我希望获得良好的性能。

我怎么能解决这个问题?

我考虑过做这样的事情:

    FileReader fileReader = new FileReader(file);

    BufferedReader bufferedReader = new BufferedReader(fileReader);

    Scanner scanner = new Scanner(bufferedReader);

    scanner.useDelimiter("@");

    List<ParsedChunk> parsedChunks = new ArrayList<ParsedChunk>();

    ChunkParser parser = new ChunkParser();

    while(scanner.hasNext())
    {
        String text = scanner.next();

        InputStream inputStream = new ByteArrayInputStream(text.getBytes("UTF-8"));

        ParsedChunk parsedChunk = parser.parse(inputStream);

        parsedChunks.add(parsedChunk);

        inputStream.close();
    }

    scanner.close();

但我不确定这是不是一个好方法。

谢谢。

2 个答案:

答案 0 :(得分:0)

如果我理解正确的话。这就是你想要实现的目标。仅供参考,您需要JAVA 7才能运行以下代码

public static void main(String[] args) throws IOException {
    List<String> allLines = Files.readAllLines(new File("d:/input.txt").toPath(), Charset.defaultCharset());
    List<List<String>> chunks = getChunks(allLines);
    //Now you have all te chunks and you can process them
}

private static List<List<String>> getChunks(List<String> allLines) {
    List<List<String>> result = new ArrayList<List<String>>();
    int i = 0;
    int fromIndex = 1;
    int toIndex = 0;
    for(String line : allLines){
        i++;
        if(line.startsWith("****") && i != 1){ // To skip the first line and the check next delimiter
            toIndex = i-1;          
            result.add(allLines.subList(fromIndex, toIndex));
            fromIndex = i;
        }
    }
    return result;
}

答案 1 :(得分:0)

并没有完全得到这个问题,但是你可以尝试在此时使用char,将所有字符存储在char数组和&amp;通过一个循环&amp;每次遇到'@'

时都会破坏字符串的条件语句