如何在MongoDB中隔离大量实时数据

Question

让我解释一下这个问题

• 我们获得每天高达0.2百万的实时数据。
• 其中一些记录具有特殊意义。属性 将它们标记为重要的将被推入参考集合中。
  让我们说主数据库中的每一行都有以下属性
  

一个。 ID b。键入c。事件1 d。活动2 e。活动3 f。活动4

对于特殊标记，我们将它们标识为

  

    

Marker1 - Event 1 - Value1
    标记2 - 事件3 - 值1     标记3 - 事件1 - 值2     等等。我们可以添加10000个这样的标记。

  

• 此外，属性Type可以是Image，Video，Text，Others。因此，我们的想法是根据Type分离数据，这意味着我们从Master Collection中创建了4个集合。这是因为我们必须基于Type运行对集合的搜索并运行一些处理。标记数据应该显示在搜索屏幕上的不同选项卡中。
  
• 我们还将通过疯狂搜索对Master Collection进行搜索。
  我们正在运行Crons来执行这些流程

予。在Master Collection中倾倒数据 - Cron 1

II。分配标记 - Cron 2

III。根据类型分离数据 - Cron 3

作为模块运行。 Cron 1 - Cron 2 - Cron 3.

但是分配目标和隔离需要很长时间。我们使用Python作为脚本语言。

事实上，这些看起来根本不起作用。 cron在命令提示符下工作。但是在crontab中安排这些不起作用。我们给出了文件的绝对路径。这些铁饼的安排距离为3分钟。

有人可以帮忙吗？

Answer 1

是的，我也遇到了这个问题，但后来尝试移动小块数据。根据我对这类问题的经验，分片不是更好的方法。副本集也是一样。