我正在尝试使用MongoDB中的NYC 2013 Taxi trip data set。它在几个CSV文件中有大约1.7亿条记录,我使用mongoimport
导入。字符串和数字导入为正确的类型,但拾取和下降时间戳仍然是字符串。我知道解决这个问题的常用方法:
但是这导致从数据库中取出每条170M记录,然后发回替换日期。按照目前的速度,看起来至少需要2天才能转换所有记录中的两个字段。数据库被放置在4个分片上,这些机器在这个过程中几乎没有做任何事情。有没有更快的方法来进行使用更多数据库资源的转换?