在MongoDB中将字符串转换为日期服务器端

时间:2014-11-26 16:04:38

标签: mongodb etl

我正在尝试使用MongoDB中的NYC 2013 Taxi trip data set。它在几个CSV文件中有大约1.7亿条记录,我使用mongoimport导入。字符串和数字导入为正确的类型,但拾取和下降时间戳仍然是字符串。我知道解决这个问题的常用方法:

但是这导致从数据库中取出每条170M记录,然后发回替换日期。按照目前的速度,看起来至少需要2天才能转换所有记录中的两个字段。数据库被放置在4个分片上,这些机器在这个过程中几乎没有做任何事情。有没有更快的方法来进行使用更多数据库资源的转换?

1 个答案:

答案 0 :(得分:0)

正如评论中所建议的,如果平衡器关闭,则直接在分片上运行此类查询是安全的。这也在this email thread中讨论过。在我的情况下,查询从2天到2小时。