我想将一个非常非常大的文件读入node.js中的JavaScript数组。
所以，如果文件是这样的：
first line
two
three
...
...
我有阵列：
['first line','two','three', ... , ... ]
该功能如下所示：
var array = load(filename);
因此，将它全部作为字符串加载然后拆分它的想法是不可接受的。
答案 0 :(得分：363)
var fs = require('fs');
var array = fs.readFileSync('file.txt').toString().split("\n");
for(i in array) {
console.log(array[i]);
}
var fs = require('fs');
fs.readFile('file.txt', function(err, data) {
if(err) throw err;
var array = data.toString().split("\n");
for(i in array) {
console.log(array[i]);
}
});
答案 1 :(得分：81)
如果您可以将最终数据放入数组中，那么您是否也能够将其放入字符串并将其拆分，如同建议的那样？ 在任何情况下，如果您想一次处理一行文件，您也可以尝试这样的事情：
var fs = require('fs');
function readLines(input, func) {
var remaining = '';
input.on('data', function(data) {
remaining += data;
var index = remaining.indexOf('\n');
while (index > -1) {
var line = remaining.substring(0, index);
remaining = remaining.substring(index + 1);
func(line);
index = remaining.indexOf('\n');
}
});
input.on('end', function() {
if (remaining.length > 0) {
func(remaining);
}
});
}
function func(data) {
console.log('Line: ' + data);
}
var input = fs.createReadStream('lines.txt');
readLines(input, func);
编辑：（响应 phopkins 的评论）我认为（至少在较新版本中）substring不会复制数据但会创建一个特殊的SlicedString对象（来自快速浏览一下v8源代码）。在任何情况下，这里都是一个修改，避免提到的子串（在一个文件上测试几兆字节的“所有工作，没有游戏让杰克变成一个沉闷的男孩”）：
function readLines(input, func) {
var remaining = '';
input.on('data', function(data) {
remaining += data;
var index = remaining.indexOf('\n');
var last = 0;
while (index > -1) {
var line = remaining.substring(last, index);
last = index + 1;
func(line);
index = remaining.indexOf('\n', last);
}
remaining = remaining.substring(last);
});
input.on('end', function() {
if (remaining.length > 0) {
func(remaining);
}
});
}
答案 2 :(得分：68)
使用Node.js readline module。
var fs = require('fs');
var readline = require('readline');
var filename = process.argv[2];
readline.createInterface({
input: fs.createReadStream(filename),
terminal: false
}).on('line', function(line) {
console.log('Line: ' + line);
});
答案 3 :(得分：8)
使用readline（documentation）。这是一个读取css文件，解析图标并将它们写入json
的示例var results = [];
var rl = require('readline').createInterface({
input: require('fs').createReadStream('./assets/stylesheets/_icons.scss')
});
// for every new line, if it matches the regex, add it to an array
// this is ugly regex :)
rl.on('line', function (line) {
var re = /\.icon-icon.*:/;
var match;
if ((match = re.exec(line)) !== null) {
results.push(match[0].replace(".",'').replace(":",''));
}
});
// readline emits a close event when the file is read.
rl.on('close', function(){
var outputFilename = './icons.json';
fs.writeFile(outputFilename, JSON.stringify(results, null, 2), function(err) {
if(err) {
console.log(err);
} else {
console.log("JSON saved to " + outputFilename);
}
});
});
答案 4 :(得分：5)
使用BufferedReader，但该函数应该是异步的：
var load = function (file, cb){
var lines = [];
new BufferedReader (file, { encoding: "utf8" })
.on ("error", function (error){
cb (error, null);
})
.on ("line", function (line){
lines.push (line);
})
.on ("end", function (){
cb (null, lines);
})
.read ();
};
load ("file", function (error, lines){
if (error) return console.log (error);
console.log (lines);
});
答案 5 :(得分：5)
file.lines
var JFile=require('jfile');
var myF=new JFile("./data.txt");
myF.lines // ["first line","second line"] ....
以前不要忘记：
npm install jfile --save
答案 6 :(得分：4)
var array = fs.readFileSync('file.txt', 'utf8').split('\n');
答案 7 :(得分：3)
这是@mtomis上面答案的变体。
它创建了一个线流。它会发出“数据”和“结束”事件，允许您处理流的结束。
var events = require('events');
var LineStream = function (input) {
var remaining = '';
input.on('data', function (data) {
remaining += data;
var index = remaining.indexOf('\n');
var last = 0;
while (index > -1) {
var line = remaining.substring(last, index);
last = index + 1;
this.emit('data', line);
index = remaining.indexOf('\n', last);
}
remaining = remaining.substring(last);
}.bind(this));
input.on('end', function() {
if (remaining.length > 0) {
this.emit('data', remaining);
}
this.emit('end');
}.bind(this));
}
LineStream.prototype = new events.EventEmitter;
将其用作包装器：
var lineInput = new LineStream(input);
lineInput.on('data', function (line) {
// handle line
});
lineInput.on('end', function() {
// wrap it up
});
答案 8 :(得分：3)
我只想添加@finbarr很棒的答案，在异步示例中有一点修复：
异步：
var fs = require('fs');
fs.readFile('file.txt', function(err, data) {
if(err) throw err;
var array = data.toString().split("\n");
for(i in array) {
console.log(array[i]);
}
done();
});
@MadPhysicist，done（）是释放异步的原因。调用
答案 9 :(得分：3)
基本上，这可以完成工作：.replace(/\r\n/g,'\n').split('\n')。
在Mac，Linux和Windows上均可使用。
代码段
同步：
const { readFileSync } = require('fs');
const array = readFileSync('file.txt').toString().replace(/\r\n/g,'\n').split('\n');
for(let i of array) {
console.log(i);
}
异步：
通过fs.promises API提供了一组异步文件系统方法的替代方法，这些方法返回Promise对象而不是使用回调。 （无需承诺，您可以使用async-await也是如此，可在Node.js 10.0.0版及更高版本中使用）
const { readFile } = require('fs').promises;
readFile('file.txt', function(err, data) {
if(err) throw err;
const arr = data.toString().replace(/\r\n/g,'\n').split('\n');
for(let i of arr) {
console.log(i);
}
});
有关\ r＆\ n的更多信息，请访问：\r\n, \r and \n what is the difference between them?
答案 10 :(得分：1)
我遇到了同样的问题，我用逐行模块解决了这个问题
https://www.npmjs.com/package/line-by-line
至少对我来说，无论是同步模式还是异步模式，它都像魅力一样。
此外，行终止不终止\ n的问题可以通过以下选项解决：
{ encoding: 'utf8', skipEmptyLines: false }
线路的同步处理：
var LineByLineReader = require('line-by-line'),
lr = new LineByLineReader('big_file.txt');
lr.on('error', function (err) {
// 'err' contains error object
});
lr.on('line', function (line) {
// 'line' contains the current line without the trailing newline character.
});
lr.on('end', function () {
// All lines are read, file is closed now.
});
答案 11 :(得分：1)
要将大文件读入数组，您可以逐行读取或按块读取块。
逐行，请参阅my answer here
var fs = require('fs'),
es = require('event-stream'),
var lines = [];
var s = fs.createReadStream('filepath')
.pipe(es.split())
.pipe(es.mapSync(function(line) {
//pause the readstream
s.pause();
lines.push(line);
s.resume();
})
.on('error', function(err) {
console.log('Error:', err);
})
.on('end', function() {
console.log('Finish reading.');
console.log(lines);
})
);
chunk by chunk 请参阅this article
var offset = 0;
var chunkSize = 2048;
var chunkBuffer = new Buffer(chunkSize);
var fp = fs.openSync('filepath', 'r');
var bytesRead = 0;
while(bytesRead = fs.readSync(fp, chunkBuffer, 0, chunkSize, offset)) {
offset += bytesRead;
var str = chunkBuffer.slice(0, bytesRead).toString();
var arr = str.split('\n');
if(bytesRead = chunkSize) {
// the last item of the arr may be not a full line, leave it to the next chunk
offset -= arr.pop().length;
}
lines.push(arr);
}
console.log(lines);
答案 12 :(得分：1)
使用Node.js v8或更高版本具有一项新功能，可将正常功能转换为异步功能。
这是一个了不起的功能。这是将txt文件中的10000个数字解析为数组，并使用数字上的归类排序计算倒置次数的示例。
// read from txt file
const util = require('util');
const fs = require('fs')
fs.readFileAsync = util.promisify(fs.readFile);
let result = []
const parseTxt = async (csvFile) => {
let fields, obj
const data = await fs.readFileAsync(csvFile)
const str = data.toString()
const lines = str.split('\r\n')
// const lines = str
console.log("lines", lines)
// console.log("str", str)
lines.map(line => {
if(!line) {return null}
result.push(Number(line))
})
console.log("result",result)
return result
}
parseTxt('./count-inversion.txt').then(() => {
console.log(mergeSort({arr: result, count: 0}))
})