Python：如何处理庞大的单行文件？

Question

我有一个巨大的单行文件，只包含以空格分隔的单词。我想对它运行一些额外的过滤。如何快速完成？

目前我有以下代码：

$("#note" + noteCount).val(note);

但极端缓慢（~1Mb / s）。如何加快速度？

Answer 1

鉴于您将文件描述为“巨大”，问题可能在于您的代码需要立即将整个文件加载到内存中，然后复制它以执行拆分操作。 / p>

如果将文件视为流，则应该快得多。逐字逐句地阅读（char = f.read(1)）;如果角色不是空格或EOF，则将其附加到临时字符串。当你点击一个空格时，处理你的临时字符串，然后将其空白并重新开始;当你点击EOF时，处理你的临时字符串，然后打破你的循环。

这样你在任何特定时刻都不应该在内存中拥有多个单词，这样可以大大加快你的处理速度。