从CSV文件为Node.js App导入多个条目到MongoDB

时间:2013-01-07 19:58:18

标签: node.js mongodb csv

首先,我是Node.js和MongoDB的新手。我有一个关于工作的网络应用程序的想法,我目前正在努力。它涉及将数据分配给数据库中的代表,然后在应用程序中访问该数据。

我必须使用的数据是Excel文件。我能够获取该Excel文件并从中创建CSV文件以导入MongoDB。我的问题是,我有多个机会与个人代表联系在一起。我试图弄清楚如何为我的应用程序设置数据库,以便我可以导入此CSV文件,它将保存数据库中特定代表的代表的所有数据。

以下是数据示例:
代表名称,Opp ID,Opp名称,先前金额,金额
代表1,1234561,Opp 1,10000,8000
代表1,1234562,Opp 2,15000,9000
Rep 2,1234563,Opp 3,20000,10000
Rep 1,1234564,Opp 4,25000,11000
代表2,1234565,Opp 5,30000,12000

基本上我希望能够导入csv文件,在这种格式中,在node.js中有一个支持这种导入的模型,然后能够为应用程序中的每个rep提取数据。例如,所有代表的概述将显示如下: Rep 1将显示3个Opps,Rep 2将显示2个Opps

这甚至可能吗?我是以错误的方式来做这件事的吗?有没有更好的方法呢? 任何有助于指导我的提示,技巧,建议或示例都会很棒。

1 个答案:

答案 0 :(得分:8)

由于您似乎熟悉ORM模式,我建议您使用"mongoose" module。虽然我猜你会有一个很大的学习曲线,NodeJS和Mongo可以制作一个可靠的应用程序。

这是一个让你开始的工作示例:

#! /usr/bin/node

var mongoose = require('mongoose');
mongoose.connect('localhost', 'test');

var fs = require('fs');
var lineList = fs.readFileSync('mytest.csv').toString().split('\n');
lineList.shift(); // Shift the headings off the list of records.

var schemaKeyList = ['RepName', 'OppID', 'OppName', 'PriorAmount', 'Amount'];

var RepOppSchema = new mongoose.Schema({
    RepName: String,
    OppID: String,
    OppName: String,
    PriorAmount: Number,
    Amount: Number
});
var RepOppDoc = mongoose.model('RepOpp', RepOppSchema);

function queryAllEntries () {
    RepOppDoc.aggregate(
        {$group: {_id: '$RepName', oppArray: {$push: {
            OppID: '$OppID', 
            OppName: '$OppName',
            PriorAmount: '$PriorAmount',
            Amount: '$Amount'
            }}
        }}, function(err, qDocList) {
        console.log(util.inspect(qDocList, false, 10));
        process.exit(0);
    });
}

// Recursively go through list adding documents.
// (This will overload the stack when lots of entries
// are inserted.  In practice I make heavy use the NodeJS 
// "async" module to avoid such situations.)
function createDocRecurse (err) {
    if (err) {
        console.log(err);
        process.exit(1);
    }
    if (lineList.length) {
        var line = lineList.shift();
        var doc = new RepOppDoc();
        line.split(',').forEach(function (entry, i) {
            doc[schemaKeyList[i]] = entry;
        });
        doc.save(createDocRecurse);
    } else {
        // After the last entry query to show the result.
        queryAllEntries();
    }
}

createDocRecurse(null);

您在“mytest.csv”中的数据:

Rep Name,Opp ID,Opp Name,Prior Amount,Amount
Rep 1,1234561,Opp 1,10000,8000
Rep 1,1234562,Opp 2,15000,9000
Rep 2,1234563,Opp 3,20000,10000
Rep 1,1234564,Opp 4,25000,11000
Rep 2,1234565,Opp 5,30000,12000