如何阅读许多pickle文件并将它们存储在数据库中?

时间:2017-12-06 20:29:17

标签: python sqlite

我正在尝试合并4,30,000个 pickle文件,每个文件包含2个列表列表。

示例:

Lemmas = [['pañcan'],['ratna'],['mukhya'],['ca','uparatna','catuṣṭaya']]

Morphological_class = [['41'],['41'],['41'],['2','3','31']]

我想创建一个包含2列的DB文件(sqlite),其中一列是Lemmas [i] [j],另一列是Morphological_class [i] [j]

对于上面的示例,我的数据库将如下所示:

引理形态

pañcan41

ratna 41

mukhya 41

ca 2

uparatna 3

catuṣṭaya31

实现这一目标的最快方法是什么?我在python中使用了sqlite3并用于循环迭代每个pickle并存储它。这样花了很多时间。

文件总大小= 2.3GB

0 个答案:

没有答案