超过630 MB后写入TXT文件会冻结

时间:2019-09-20 14:49:20

标签: python windows ntfs

我正在从网络上收集大量数据,并将其写入TXT文件中,以便以后进行分析。我写如下文件:

from time import sleep
import json
with open("big_txt.txt", 'w') as opened_file:
    while True:
        data = {"data" : "Some Important Data"}
        json.dump(data, opened_file)
        opened_file.write("\n")
        sleep(0.001)

但是,当文件大小超过630 MB时,(我尝试了3次)写入文件的冻结将不会显示任何错误。我在网上搜索有关NTFS中最大文件大小的信息(我正在使用NTFS),并在Microsoft知识库文章中找到以下内容:Microsoft NTFS Article  其中指出以下内容: NTFS大小限制

最大文件大小 在体系结构上:16艾字节减去1 KB(264字节减去1 KB) 实施:16兆字节减去64 KB(244字节减去64 KB)

最大音量 在体系结构上:264个群集减去1个群集 实现:256兆字节减去64 KB(232个群集减去1个群集)

我认为这使问题变得非常有趣,因为文件大小未超出规定的限制。但是,您可以在计算机上尝试(假设您使用的是NTFS,并且有足够的时间填充txt),您将获得相同的结果。这背后的原因是什么,什么是克服此问题的最佳方法?任何想法表示赞赏。

0 个答案:

没有答案