Question

我正在尝试读取其中包含大约十亿行的巨大文件。我想使用Stream进行并行处理并将每一行插入数据库中。我正在做这样的事情，

br = new BufferedReader(new InputStreamReader(inputStream, "UTF-8"));
list = br.lines().parallel().collect(Collectors.toList());

这会将所有行存储在列表中。但是我不想将所有行都保留在内存中。因此，我想在读取一行后将它们保存到数据库中。请帮助我实现这一目标。另外，指导我调整这个想法。

先谢谢您了:)

Answer 1

似乎您需要使用forEach并传递一个Consumer来接受该行并将其存储在数据库中

lines.parallel()
     .forEach(line -> {
        //Invoke the code passing the 'line' that persists in the DB...something like
        dbWriter.write(line);
     });

使用Stream从BufferedReader读取行

1 个答案: