Question

我有一个非常大的文件，有大量的JSON字符串（超过100K），每行有一个字符串。

我想读取每一行，将其插入数据库，并在插入项目后，我想使用初始插入的基本信息更新另一个数据库中的另一个文档。而且由于我是一个新的节点，我无法绕过我做错的事情。这是我到目前为止所拥有的。

var lineReader - require("line-reader");

lineReader.eachLine(filePath, function(line, last){
    if(count == 1){
        asyncAdd(JSON.parse(line));
    }
})}

var counter = 0;

function asyncAdd(jsonString){

async.waterfall([
        //this function calls the inserter
    function(callback){
        counter++;

        addJson(jsonString, function(doc){
            callback(null, doc);
            console.log("Added " + counter);
        })

    },
    //This function calls the indexing function
    function(doc, callback){

        console.log("indexing: " + counter);

        updateDBIndex(doc, function(err, savedDocument){
            callback(err, savedDocument);
        });
    }
    ],

    function(err, results){
        if(err){
            return console.error("Error " + err);
        }
        console.log("indexed " + counter);
    });
     }

基本上，如果我的文件如下：

{"_id": "1", "item":"glove", "color": "red"}\n
{"_id": "4", "item":"hat", "color" : "red"}\n
{"_id": "6", "item":"hat","color" : "blue"}\n

我希望输出看起来像，补充1 索引1 索引1 补充2 索引2 索引2 补充3 索引3 索引3

任何帮助都将不胜感激！谢谢！

Answer 1

您可以尝试关注代码段

var lineReader = require("line-reader");
var lineNumber = 0;
lineReader.eachLine(filePath, function (line, last) {
  asyncAdd(JSON.parse(line), lineNumber); // current line number
  lineNumber++; // increment for next one
});
function asyncAdd(jsonString, lineNum/*additional parameter*/) {
  async.waterfall([
      //this function calls the inserter
      function (callback) {
        addJson(jsonString, function (doc) {
          callback(null, doc);
          console.log("Added " + lineNum);
        })
      },
      //This function calls the indexing function
      function (doc, callback) {
        console.log("indexing: " + lineNum);
        updateDBIndex(doc, function (err, savedDocument) {
          callback(err, savedDocument);
        });
      }
    ],
    function (err, results) {
    if (err) {
      return console.error("Error " + err);
    }
    console.log("indexed " + lineNum);
  });
}

希望它有效，原来有点不完整。

读取大文件并逐行插入Node.JS中的数据库

1 个答案: