我有2个mongo数据库。 1.分期,2。生产。 在分段中,我们有大约5个种子数据集合,我们在其上运行一些批处理作业,并填充更多说3个集合。 8集合成为生产的种子数据,其具有用户信息+该种子数据。
是否有更好的模式来管理数据推送到分段以及从分段到生产。现在我们正在尝试mongoexport所有的集合并tar.gz它并将其存档在每个阶段的网络驱动器上并mongoimport它。
非常痛苦,需要很长时间才能导出,导入和存档gzipping大约1.5 GB。 有没有好的模式来解决这个问题?
答案 0 :(得分:1)
'mongoimport'和'mongoexport'用于来自外部系统的数据 - 所有数据都被转换为普通的json,然后再转换回bson。
如果您使用'mongodump'和'mongorestore',您应该会看到更好的性能,因为它们都直接处理bson,它存储更紧凑,不需要两次翻译(一次转换为json,一次转换为json)。