在我的Meteor应用程序中,我有一个对文档执行某些操作的功能。它首先获取数据,进行一些服务器端调整,然后再次更新文档属性。我有时需要在许多文档上运行它(数千个,最多250k)。
1000个文档的正常速度低于2秒(逐个获取文档,经过一些本地数据处理后,逐个更新;没有批量更新,因此运行速度相当快)。但是,如果网络服务器已运行一段时间,并且用户已登录,则需要永久运行此功能(例如,1000个文档需要160秒)。
我必须关闭所有用户(db.users.update({},{$ set:{“services.resume.loginTokens”:[]}},{multi:true}))以获得速度。运行数据库查询后,执行速度将恢复为~2s / 1000。
有什么问题?它不应该与索引相关,因为它会慢得多。此外,DB端没有日志表明DB是问题,DB没有任何高CPU使用率。网络服务器以100%运行(除此之外,网络服务器永远不会达到15%)。
网络服务器是AWS T2.small,并且登录用户的数量(他们在我晚上无论如何都是空闲的)大约是10.他们假设有一些开放订阅。
答案 0 :(得分:3)
听起来这是一个与观察者相关的问题,因为每个登录用户都可能订阅了正在更新的文档集。
我要尝试的第一件事是将操作作为MongoDB Bulk Operation。这样,所有文件都立即被改变,观察员和订阅将在更新完成后运行,而不是在每次更改后运行。
示例given in the Meteor guide特定于Todos示例应用程序,但是让您了解如何在Meteor中设置和运行批量操作:
// This is how to get access to the raw MongoDB node collection that the Meteor server collection wraps
const batch = Lists.rawCollection().initializeUnorderedBulkOp();
//Mongo throws an error if we execute a batch operation without actual operations, e.g. when Lists was empty.
let hasUpdates = false;
Lists.find({todoCount: {$exists: false}}).forEach(list => {
const todoCount = Todos.find({listId: list._id}).count();
// We have to use pure MongoDB syntax here, thus the `{_id: X}`
batch.find({_id: list._id}).updateOne({$set: {todoCount}});
hasUpdates = true;
});
if(hasUpdates){
// We need to wrap the async function to get a synchronous API that migrations expects
const execute = Meteor.wrapAsync(batch.execute, batch);
return execute();
}
其他选项包括从您的数据处理中删除反应性,因此更新不会全部自动发送到客户端。哪个更有意义