我需要使用Java逐行读取大约5-6 GB的大文本文件。
我怎样才能快速完成?
答案 0 :(得分:980)
常见的模式是使用
try (BufferedReader br = new BufferedReader(new FileReader(file))) {
String line;
while ((line = br.readLine()) != null) {
// process the line.
}
}
如果您认为没有字符编码,则可以更快地读取数据。例如ASCII-7但它没有太大的区别。您对数据的处理很可能需要更长的时间。
编辑:一种不太常见的模式,可以避免line
泄漏的范围。
try(BufferedReader br = new BufferedReader(new FileReader(file))) {
for(String line; (line = br.readLine()) != null; ) {
// process the line.
}
// line is not visible here.
}
更新:在Java 8中你可以做到
try (Stream<String> stream = Files.lines(Paths.get(fileName))) {
stream.forEach(System.out::println);
}
注意:您必须将Stream放在try-with-resource块中以确保在其上调用#close方法,否则基础文件句柄永远不会关闭,直到GC稍后执行它。
答案 1 :(得分:137)
看看这个博客:
可以指定缓冲区大小,或 可以使用默认大小。该 默认值对大多数人来说足够大 目的。
// Open the file
FileInputStream fstream = new FileInputStream("textfile.txt");
BufferedReader br = new BufferedReader(new InputStreamReader(fstream));
String strLine;
//Read File Line By Line
while ((strLine = br.readLine()) != null) {
// Print the content on the console
System.out.println (strLine);
}
//Close the input stream
fstream.close();
答案 2 :(得分:83)
java-8结束后(2014年3月),您将能够使用流:
try (Stream<String> lines = Files.lines(Paths.get(filename), Charset.defaultCharset())) {
lines.forEachOrdered(line -> process(line));
}
打印文件中的所有行:
try (Stream<String> lines = Files.lines(file, Charset.defaultCharset())) {
lines.forEachOrdered(System.out::println);
}
答案 3 :(得分:35)
这是一个完整的错误处理示例,支持Java 7之前的charset规范。使用Java 7,您可以使用try-with-resources语法,这样可以使代码更清晰。
如果您只想要默认字符集,可以跳过InputStream并使用FileReader。
InputStream ins = null; // raw byte-stream
Reader r = null; // cooked reader
BufferedReader br = null; // buffered for readLine()
try {
String s;
ins = new FileInputStream("textfile.txt");
r = new InputStreamReader(ins, "UTF-8"); // leave charset out for default
br = new BufferedReader(r);
while ((s = br.readLine()) != null) {
System.out.println(s);
}
}
catch (Exception e)
{
System.err.println(e.getMessage()); // handle exception
}
finally {
if (br != null) { try { br.close(); } catch(Throwable t) { /* ensure close happens */ } }
if (r != null) { try { r.close(); } catch(Throwable t) { /* ensure close happens */ } }
if (ins != null) { try { ins.close(); } catch(Throwable t) { /* ensure close happens */ } }
}
这是Groovy版本,具有完整的错误处理:
File f = new File("textfile.txt");
f.withReader("UTF-8") { br ->
br.eachLine { line ->
println line;
}
}
答案 4 :(得分:21)
在Java 8中,你可以这样做:
try (Stream<String> lines = Files.lines (file, StandardCharsets.UTF_8))
{
for (String line : (Iterable<String>) lines::iterator)
{
;
}
}
一些注意事项:Files.lines
返回的流(与大多数流不同)需要关闭。出于mentioned here的原因,我避免使用forEach()
。奇怪的代码(Iterable<String>) lines::iterator
将流转换为Iterable。
答案 5 :(得分:19)
您可以使用扫描仪扫描整个文本,然后逐行浏览文本。 当然,您应该导入以下内容:
import java.io.File;
import java.io.FileNotFoundException;
import java.util.Scanner;
public static void readText throws FileNotFoundException {
Scanner scan = new Scanner(new File("samplefilename.txt"));
while(scan.hasNextLine()){
String line = scan.nextLine();
//Here you can manipulate the string the way you want
}
}
扫描仪基本上扫描所有文本。 while循环用于遍历整个文本。
.hasNextLine()
函数是一个布尔值,如果文本中还有更多行,则返回true。 .nextLine()
函数为您提供整行作为String,然后您可以按照自己的方式使用它。尝试System.out.println(line)
打印文字。
旁注:.txt是文件类型文本。
答案 6 :(得分:17)
FileReader不允许您指定编码,如果您需要指定,请使用InputStreamReader
:
try {
BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream(filePath), "Cp1252"));
String line;
while ((line = br.readLine()) != null) {
// process the line.
}
br.close();
} catch (IOException e) {
e.printStackTrace();
}
如果从Windows导入此文件,则它可能具有ANSI编码(Cp1252),因此您必须指定编码。
答案 7 :(得分:16)
在Java 7中:
String folderPath = "C:/folderOfMyFile";
Path path = Paths.get(folderPath, "myFileName.csv"); //or any text file eg.: txt, bat, etc
Charset charset = Charset.forName("UTF-8");
try (BufferedReader reader = Files.newBufferedReader(path , charset)) {
while ((line = reader.readLine()) != null ) {
//separate all csv fields into string array
String[] lineVariables = line.split(",");
}
} catch (IOException e) {
System.err.println(e);
}
答案 8 :(得分:13)
我记录并测试了10 different ways to read a file in Java然后通过将它们读入1KB到1GB的测试文件来相互运行它们。以下是读取1GB测试文件的最快3种文件读取方法。
请注意,在运行性能测试时,我没有向控制台输出任何内容,因为这样会降低测试速度。我只想测试原始阅读速度。
1)java.nio.file.Files.readAllBytes()
在Java 7,8,9中测试过。这是最快的方法。读取1GB文件的时间一直不到1秒。
import java.io..File;
import java.io.IOException;
import java.nio.file.Files;
public class ReadFile_Files_ReadAllBytes {
public static void main(String [] pArgs) throws IOException {
String fileName = "c:\\temp\\sample-1GB.txt";
File file = new File(fileName);
byte [] fileBytes = Files.readAllBytes(file.toPath());
char singleChar;
for(byte b : fileBytes) {
singleChar = (char) b;
System.out.print(singleChar);
}
}
}
2)java.nio.file.Files.lines()
这在Java 8和9中已成功测试,但由于缺乏对lambda表达式的支持,它在Java 7中无法工作。在一个1GB的文件中读取大约需要3.5秒,在读取较大的文件时将其放在第二位。
import java.io.File;
import java.io.IOException;
import java.nio.file.Files;
import java.util.stream.Stream;
public class ReadFile_Files_Lines {
public static void main(String[] pArgs) throws IOException {
String fileName = "c:\\temp\\sample-1GB.txt";
File file = new File(fileName);
try (Stream linesStream = Files.lines(file.toPath())) {
linesStream.forEach(line -> {
System.out.println(line);
});
}
}
}
3)BufferedReader
经测试可在Java 7,8,9中工作。在1GB测试文件中读取大约需要4.5秒。
import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
public class ReadFile_BufferedReader_ReadLine {
public static void main(String [] args) throws IOException {
String fileName = "c:\\temp\\sample-1GB.txt";
FileReader fileReader = new FileReader(fileName);
try (BufferedReader bufferedReader = new BufferedReader(fileReader)) {
String line;
while((line = bufferedReader.readLine()) != null) {
System.out.println(line);
}
}
}
您可以找到所有10种文件阅读方法here的完整排名。
答案 9 :(得分:10)
使用java 8 读取文件
package com.java.java8;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.stream.Stream;
/**
* The Class ReadLargeFile.
*
* @author Ankit Sood Apr 20, 2017
*/
public class ReadLargeFile {
/**
* The main method.
*
* @param args
* the arguments
*/
public static void main(String[] args) {
try {
Stream<String> stream = Files.lines(Paths.get("C:\\Users\\System\\Desktop\\demoData.txt"));
stream.forEach(System.out::println);
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
答案 10 :(得分:9)
您可以使用Scanner类
Scanner sc=new Scanner(file);
sc.nextLine();
答案 11 :(得分:9)
在Java 8中,还有一种使用Files.lines()
的替代方法。如果您的输入源不是文件,而是像Reader
或InputStream
那样更抽象的内容,则可以通过BufferedReader
s {{流这些行1}}方法。
例如:
lines()
将为try (BufferedReader reader = new BufferedReader(...)) {
reader.lines().foreach(line -> processLine(line));
}
读取的每个输入行调用processLine()
。
答案 12 :(得分:7)
您需要使用readLine()
中的class BufferedReader
方法。
从该类创建一个新对象并对他操作此方法并将其保存为字符串。
答案 13 :(得分:6)
try (Stream<String> stream = Files.lines(Paths.get(fileName))) {
stream.forEach(System.out::println);
}
答案 14 :(得分:5)
实现这一目标的明确方法,
例如:
如果当前目录中有dataFile.txt
import java.io.*;
import java.util.Scanner;
import java.io.FileNotFoundException;
public class readByLine
{
public readByLine() throws FileNotFoundException
{
Scanner linReader = new Scanner(new File("dataFile.txt"));
while (linReader.hasNext())
{
String line = linReader.nextLine();
System.out.println(line);
}
linReader.close();
}
public static void main(String args[]) throws FileNotFoundException
{
new readByLine();
}
}
答案 15 :(得分:3)
BufferedReader br;
FileInputStream fin;
try {
fin = new FileInputStream(fileName);
br = new BufferedReader(new InputStreamReader(fin));
/*Path pathToFile = Paths.get(fileName);
br = Files.newBufferedReader(pathToFile,StandardCharsets.US_ASCII);*/
String line = br.readLine();
while (line != null) {
String[] attributes = line.split(",");
Movie movie = createMovie(attributes);
movies.add(movie);
line = br.readLine();
}
fin.close();
br.close();
} catch (FileNotFoundException e) {
System.out.println("Your Message");
} catch (IOException e) {
System.out.println("Your Message");
}
它对我有用。希望它也会对你有所帮助。
答案 16 :(得分:2)
我通常直接阅读例行程序:
var Chunk = function(data) {
console.log(data);
/*
* Outputs:
* Object {
* "_id": "555f7939c3ae58523f63b847",
* "x": 2,
* "y": 2,
* "height": 2000,
* "width": 2000,
* "__v": 0,
* "layers": [
* {
* "name": "collision",
* "height": 2000,
* "width": 2000,
* "opacity": 1,
* "visible": true,
* "type": "objectgroup",
* "objects": []
* }
* ]
* }
*/
PIXI.Container.call(this);
console.log(this);
/*
* Outputs:
* Couldn't copy the object, but i've included a link to a working
* demo where you can see it output. https://vast-wildwood-6251.herokuapp.com/
*/
this.height = data.height;
this._width = data.width;
this.coords = {
x: data.x,
y: data.y
};
this.x = data.x * this._width;
this.y = data.y * this.height;
console.log(this.height); // Outputs: 0
this.planets = [];
var border = new PIXI.Graphics();
border.lineStyle(2, 0xFF0000, 1);
border.drawRect(this.x, this.y, this.width, this.height);
this.addChild(border);
for (var c = 0; c < data.layers.length; c++) {
for (var o = 0; o < data.layers[c].objects.length; o++) {
var planet = new Planet(data.layers[c].objects[o]);
game.planets.push(planet);
this.planets.push(planet);
this.addChild(planet.graphics);
}
}
};
Chunk.prototype = Object.create(PIXI.Container.prototype);
Chunk.prototype.constructor = Chunk;
答案 17 :(得分:1)
您可以使用流来更精确地执行此操作:
Files.lines(Paths.get("input.txt")).forEach(s -> stringBuffer.append(s);
答案 18 :(得分:0)
您可以使用此代码:
import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;
public class ReadTextFile {
public static void main(String[] args) throws IOException {
try {
File f = new File("src/com/data.txt");
BufferedReader b = new BufferedReader(new FileReader(f));
String readLine = "";
System.out.println("Reading file using Buffered Reader");
while ((readLine = b.readLine()) != null) {
System.out.println(readLine);
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
答案 19 :(得分:0)
可以提高性能,尤其是在使用Java 6及更低版本的旧代码中。
Java7具有更好的API,更少的异常
处理和更有用的方法
LineIterator lineIterator =null;
try{
lineIterator = FileUtils.lineIterator(new File("/home/username/m.log"), "windows-1256");//second parameter is optionanl
while (lineIterator.hasNext()){
String currentLine = lineIterator.next();
//some operation
}
}finally {
LineIterator.closeQuietly(lineIterator);
}
行家
<!-- https://mvnrepository.com/artifact/commons-io/commons-io -->
<dependency>
<groupId>commons-io</groupId>
<artifactId>commons-io</artifactId>
<version>2.6</version>
</dependency>
答案 20 :(得分:0)
您可以按如下方式逐行读取文件数据:
String fileLoc = "fileLocationInTheDisk";
List<String> lines = Files.lines(Path.of(fileLoc), StandardCharsets.UTF_8).collect(Collectors.toList());