我有一堆xml文件,每个文件大小都超过20 GB。每个文件大约有30-40百万个具有深层嵌套数据的产品。这些必须加载到MongoDB进行进一步处理。我可以通过哪些方法来提高性能?将一对一插入转换为批处理,可能是并行过程吗?这是我的基本代码
for event, elem in etree.iterparse("in.xml", events=('start','end')):
if elem.tag == 'item_data':
if event == "end" :
jsonString = xmltodict.parse(etree.tostring(elem))
result = feeds.insert_one(jsonString)
elem.clear()