我有一个很大的txt文件(大约100M),其列表如下所示:
[{'a':'1','b':null}, {'a':'2', 'b':'3'}, {'a':'4', 'b':'5'} ....]
,我想将此文件转换为列表或熊猫数据框。我正在使用Anaconda,并且已经阅读了Convert string representation of list to list中的解决方案,并尝试了以下代码:
import ast
with open('content.txt') as f:
s = f.read()
l = ast.literal_eval(s)
我首先从原始文件中切出一些内容,以创建一个小的测试用例文件,当测试用例不大时,此代码运行得很好,但是一旦传入整个大文件,Anaconda就会真正运行慢死了我想知道是否有某种方法可以有效处理诸如字符串之类的大文件列表?