我正在尝试合并4,30,000个 pickle文件,每个文件包含2个列表列表。
示例:
Lemmas = [['pañcan'],['ratna'],['mukhya'],['ca','uparatna','catuṣṭaya']]
Morphological_class = [['41'],['41'],['41'],['2','3','31']]
我想创建一个包含2列的DB文件(sqlite),其中一列是Lemmas [i] [j],另一列是Morphological_class [i] [j]
对于上面的示例,我的数据库将如下所示:
引理形态
pañcan41
ratna 41
mukhya 41
ca 2
uparatna 3
catuṣṭaya31
实现这一目标的最快方法是什么?我在python中使用了sqlite3并用于循环迭代每个pickle并存储它。这样花了很多时间。
文件总大小= 2.3GB