Question

我有一个文本文件（大约600MB），其中包含使用搜索API收集的json格式的推文。我想根据＆＃34; created_at＆＃34;对推文进行排序。推文中的值并将它们写入新文件。我使用了代码：

oldlist=[]
newlist=[]
with open('abc.txt') as f:
    for each in f:
        oldlist.append(json.loads(each))
newlist=(sorted(oldlist,key=lambda k: k['created_at'])).

我可以使用＆＃34;重定向输出＆GT;＆GT;＆＃34;到文本文件。

我在较小的文件（100MB）上试过它，即使这需要很长时间。有更好的方法吗？

Answer 1

你在这里关于合并排序吗？您可以将文件分成几个小文件，对每个文件进行排序，然后使用合并排序原则将它们联合在一起。

好的，如果每个人都坚持你应该在记忆中这样做，我可以建议你使用Pandas

import pandas as pd
df = pd.read_json('abc.txt')
df.sort(by='created_at')

基于在值处创建的列表中的推文排序

1 个答案: