我有一个批量操作,我在mongodb数据库中每2小时收集10000个项目。该代码看起来像这样
let bulk = models.Product.collection.initializeUnorderedBulkOp();
...
if (bulk.length > 0) {
bulk.find({
"$or": [
{
"updatedAt": {
"$lt": timestamp
}
},
{
"discount": {
"$eq": 0
}
}
]
}).remove()
bulk.execute((error, result) => {
if (error) {
console.error('Error while inserting products' + JSON.stringify(error))
}
else {
console.log('Successfully inserted ' + result.nInserted + ' upserted ' + result.nUpserted + ' matched ' + result.nMatched + ' modified ' + result.nModified + ' removed ' + result.nRemoved)
}
})
}
else {
console.log('There were no bulk operations to execute ' + products.length)
}
}
我的连接时间不断超时。我对猫鼬连接的选择看起来像这样
let options = {
mongos: {
ssl: true,
sslValidate: true,
sslCA: ca,
}
}
我很清楚正在其他stackoverflow线程上讨论的这种连接设置
server: {
socketOptions: {
keepAlive: 300000,
connectTimeoutMS: 30000
}
}
我阅读了keepAlive和connectTimeoutMS的文档,但我怎么知道两者的正确值,我是否也需要socketTimeoutMS?
提前感谢您的建议
更新1
我一直收到这个错误:
{"name":"MongoError","message":"connection 0 to aws-ap-southeast-1-portal.2.dblayer.com:15284 timed out"}
我的连接选项现在看起来像这样 // compose.io数据库的选项
let options = {
mongos: {
ssl: true,
sslValidate: true,
sslCA: ca,
},
server: {
socketOptions: {
keepAlive: 300000,
connectTimeoutMS: 300000
}
},
replset: {
socketOptions:
{
keepAlive: 300000,
connectTimeoutMS: 300000
}
}
}
答案 0 :(得分:1)
降低批处理对我没什么帮助,而是增加了连接超时值。
这是我的连接字符串,它解决了我的问题。
MONGO_URI=mongodb://user:password@127.0.0.1:27017/dbname?keepAlive=true&poolSize=30&autoReconnect=true&socketTimeoutMS=360000&connectTimeoutMS=360000
答案 1 :(得分:0)
好的,我已经将批量操作降低了100个而不是1000个,现在工作正常。 当我这样做的时候,它适用于1000:
bulk.insert(programme);
但是现在,我这样做,并且它不适用于1000 / bulk:
bulk.find({ eventId: programme.eventId }).upsert().replaceOne(programme);