批量写入Mongodb数据库的缓冲区任务

时间:2018-08-15 06:57:08

标签: mongodb task-queue datastore

我正在寻找有效的解决方案,以应对不得不处理的情况 数千条记录,将它们保存到MongoDB数据库。 我不会丢失数据,但会节省时间。

我正在寻找正确的解决方案。形成我所读的内容: 1.使用Redis缓存记录,并与cronjob批量插入记录。 2.使用任务队列来缓冲记录,并使用cronjob批量插入。 例如rabbitMQ / google任务队列-有没有办法在缓冲区长度x或从上次交付开始的时间(如cronjob)上设置条件消耗

我正在使用nodejs和mongodb。

跟踪器架构:

let trackSchema = {
  threadId: string,
  updated: number,//(timestamp)
  created: number,//(timestamp)
  count: number //number of opens
  trace: [
  {
   created: number,//(timestamp)
   userAgent: string
  }
  ]
}

0 个答案:

没有答案