我正在将巨大的CSV文件数据复制到mongodb中。我现在在csv中共有5列,我想添加新字段'Timestamp':current_time(date cmd output)。
在插入mongodb或插入任何内容之前,实现此目的的最佳方法是什么?
我使用几乎类似于下面的代码写入db: https://gist.github.com/mprajwala/849b5909f5b881c8ce6a
我拥有的是:
A B C D E
Jack 08/03/1865 Yes City1 Company1
Sam 07/11/1881 Yes City2 Company1
Lina 18/02/1990 No City3 Company1
我想要的是:
A B C D E Timestamp
Jack 08/03/1865 Yes City1 Company1 1514446225
Sam 07/11/1881 Yes City2 Company1 1514446225
Lina 18/02/1990 No City3 Company1 1514446225
答案 0 :(得分:0)
如果您的代码基于示例代码,您可以在存储之前更新data_json(我认为这是最好的方法)。
...
data = pd.read_csv(file_res)
data_json = json.loads(data.to_json(orient='records'))
for doc in data_json:
doc['timestamp'] = timestamp
db_cm.remove()
db_cm.insert(data_json)