处理高频数据时创建数据转储的最佳方法

时间:2016-01-19 06:46:47

标签: mongodb database-performance bigdata

我正在开发一个监听器/记录器来跟踪事件,然后进行分析。由于数据可能会扩展到非常大的尺寸,我希望能够将数据拆分成块并在每小时后以特定格式存储。现在,在执行此操作时,我不希望数据库性能受到影响。

目前我正在使用MongoDB并查看“分片键”,可能使用时间戳(小时分辨率)作为关键。

另一种方法可能是拥有数据库副本并使用副本创建数据转储。

请帮我解决这个问题。

1 个答案:

答案 0 :(得分:1)

你对表现

100%正确
  

当连接到MongoDB实例时,mongodump会对mongod性能产生负面影响。如果您的数据大于系统内存,查询将推动工作集的内存不足。

并处理他们给出解决方案的问题

  

使用mongodumpsecondary member of the replica set抓取备份。

MongodB Docs about BackUp and Restore