通过.txt文件将JSON-ified HTTP响应标头导入Mongo数据库

时间:2013-03-13 16:45:14

标签: javascript node.js http mongodb header

JSON-ified HTTP响应标头的格式如下:

{
  "url": "aalfs.com",
  "statusCode": 301,
  "headers": {
    "date": "Tue, 12 Mar 2013 19:36:28 GMT",
    "server": "Strategi HTTPD V2R5M1",
    "connection": "Keep-Alive",
    "content-length": "0",
    "location": "/index.htm"
  }
}

使用MongoJS,我编写了Mongo来解释数据,包括三个主要变量 - urlstatusCodeheaders

function site(url, statusCode, headers){
    this.url = url;
    this.statusCode = statusCode;
    this.headers = headers;
}

url作为__id

db.scrape.ensureIndex({url:1},{unique:true});

在我的代码中,我可以通过此对象将HTTP响应头导入我的数据库:

var site1 = new site("www.thing.com", "300", {"header information"});

db.scrape.save(site1, function(err, savedUser){
    if(err||!savedUser) console.log("URL " + site.url + " not saved because of error " + err);
    else console.log("URL " + savedUser.url +" saved");
});

我的问题是 - 我正在寻找一种更方便/有效的方法来将数百个HTTP响应标头放入我的Mongo数据库中。我有数百个JSON-ified HTTP响应头,其格式如上所示,保存在.txt文件中。 Mongo是否可以简单地读取我的.txt文件并解释并导入Mongo?

1 个答案:

答案 0 :(得分:0)

您可以使用mongoimport。查看各种选项here

您必须将'url'文字替换为'_id'