Question

我使用通用Node.js HTTP请求脚本解析大约4000个URL：

(function (i){
            http.get(options, function(res) {

                var obj = {};
                obj.url = hostNames[i];
                obj.statusCode = res.statusCode;
                obj.headers = res.headers;

                db.scrape.save(obj);

            }).on('error',function(e){
        console.log("Error: " + hostNames[i] + "\n" + e.stack);
        })
    })(i);

大约有1300个网址，我收到此错误，这会停止整个脚本。我不知道page.ly是什么，因为我的URL列表中没有。我做了很多研究，但我无法确定是什么导致了这个错误。

如果有人熟悉Node.js上的HTTP请求 - 你能帮助我吗？

Error: key page.ly must not contain '.'
    at Error (unknown source)
    at Function.checkKey (/Users/loop/node_modules/mongojs/node_modules/mongodb/node_modules/bson/lib/bson/bson.js:1421:11)
    at serializeObject (/Users/loop/node_modules/mongojs/node_modules/mongodb/node_modules/bson/lib/bson/bson.js:355:14)
    at packElement (/Users/loop/node_modules/mongojs/node_modules/mongodb/node_modules/bson/lib/bson/bson.js:854:23)
    at serializeObject (/Users/loop/node_modules/mongojs/node_modules/mongodb/node_modules/bson/lib/bson/bson.js:359:15)
    at Function.serializeWithBufferAndIndex (/Users/loop/node_modules/mongojs/node_modules/mongodb/node_modules/bson/lib/bson/bson.js:332:10)
    at BSON.serializeWithBufferAndIndex (/Users/loop/node_modules/mongojs/node_modules/mongodb/node_modules/bson/lib/bson/bson.js:1502:15)
    at InsertCommand.toBinary (/Users/loop/node_modules/mongojs/node_modules/mongodb/lib/mongodb/commands/insert_command.js:132:37)
    at Connection.write (/Users/loop/node_modules/mongojs/node_modules/mongodb/lib/mongodb/connection/connection.js:198:35)
    at __executeInsertCommand (/Users/loop/node_modules/mongojs/node_modules/mongodb/lib/mongodb/db.js:1745:14)
    at Db._executeInsertCommand (/Users/loop/node_modules/mongojs/node_modules/mongodb/lib/mongodb/db.js:1801:5)
Loops-MacBook-Air:JS loop$

有什么可以防止这种情况？看来我的脚本不能很好地扩展。

编辑：从我得到的答案 - 在某个地方存在一个带有“。”的密钥，这在MongoDB中是不允许的，我应该逃避它。但问题仍然存在 - 如果我的密钥只有url，statusCode和headers，那么导致其显示.的密钥的原因是什么？

编辑：找到错误。回答如下。

Answer 1

当您尝试在MongoDB中保留一个Object并且一个（或多个）键包含字符'。'时会导致此错误，例如：

{
  "name": "bob",
  "url": "http://example.com",
  "some.field": "value"
}

会引发错误Error: key some.field must not contain '.'。

在保存到MongoDB之前，清除'。'的对象键！

Answer 2

网站“divensurf.com”有一个名为page.ly: v4.0

的标题

我不知道它是什么，但这导致我导入MongoDB，因为键不能符号。我通过将输出打印到.txt文件，在标题page.ly上搜索，找到该网站并删除它来找到罪魁祸首。

我会在导入之前清理标题。

感谢帮助人员。

HTTP/1.1 304 Not Modified
X-Varnish: 2236761436 2236710300
Vary: Accept-Encoding,Cookie,X-UA-Device
Cache-Control: max-age=7200, must-revalidate
X-Cache: V1HIT 5
Content-Type: text/html; charset=UTF-8
Page.ly: v4.0
Content-Encoding: gzip
X-Pingback: http://divensurf.com/xmlrpc.php
Date: Thu, 21 Mar 2013 19:45:35 GMT
Accept-Ranges: bytes
Via: 1.1 varnish
Connection: keep-alive
Last-Modified: Thu, 21 Mar 2013 19:40:57 GMT
Age: 278

有些东西打破了我的Node.js HTTP请求，我不知道是什么打破了它

2 个答案: