Question

我想循环抛出MongoDB特定集合上的所有文档。但是，由于光标超时，我所做的每次尝试都失败了。这是我的代码

let MongoClient = require('mongodb').MongoClient;
const url = "my connection URI"
let options = { socketTimeoutMS: 120000, connectTimeoutMS: 120000, keepAlive: 100, poolSize: 5 }

MongoClient.connect(url, options,
  function(err, db) {
  if (err) throw err
  let dbo = db.db("notes")
  let collection = dbo.collection("stats-network-consumption")

  let stream = collection.find({}, { timeout: false }).stream()

  stream.on("data", function(item) {
    printTask(item)
  })

  stream.on('error', function (err) {
    console.error(err)
  })

  stream.on("end", function() {
    console.log("DONE!")
    db.close()
  })

})

上面的代码运行大约15秒，检索6000到8000个文档，然后抛出以下错误：

{ MongoError: cursor does not exist, was killed or timed out
    at queryCallback (/Volumes/safezone/development/workspace-router/migration/node_modules/mongodb-core/lib/wireprotocol/2_6_support.js:136:23)
    at /Volumes/safezone/development/workspace-router/migration/node_modules/mongodb-core/lib/connection/pool.js:541:18
    at process._tickCallback (internal/process/next_tick.js:150:11)
  name: 'MongoError',
  message: 'cursor does not exist, was killed or timed out' }

我需要检索大约50000个文档，所以我需要找到一种方法来避免光标超时。

如上面的代码所示，我试图增加socketTimeoutMS和connectTimeoutMS，这对游标超时没有影响。

我也尝试将stream替换为forEach并添加.addCursorFlag('noCursorTimeout', true)，这也没有帮助。

我已经尝试了我发现的关于mongodb的所有内容，我没有尝试过mongoose或替代品，因为他们使用模式，我后来必须更新属性的当前类型（这对于猫鼬来说可能很棘手）模式）。

Answer 1

通常不建议使用没有超时的游标。

原因是，服务器不会关闭游标，因此如果您的应用程序崩溃并重新启动它，它将在服务器上打开另一个无超时游标。经常回收你的应用程序，这些将加起来。

分片群集上没有超时光标也会阻止块迁移。

如果你需要检索大结果，光标不应该超时，因为结果将分批发送，光标将被重用以获得下一批。

标准光标超时为10分钟，因此如果处理批次需要的时间超过10分钟，则可能会丢失光标。

在您的代码示例中，您使用stream()可能会干扰您的意图。请尝试在光标上使用each()（example here）。

如果您需要监控集合的更改，您可能需要查看Change Streams这是MongoDB 3.6中的新功能。

例如，您的代码可能会被修改为：

let collection = dbo.collection("stats-network-consumption")
let stream = collection.watch()
document = next(stream)

请注意，要启用更改流支持，您使用的驱动程序必须支持MongoDB 3.6功能和watch()方法。有关详细信息，请参阅Driver Compatibility Page。

NodeJS MongoDB避免光标超时

1 个答案: