试图在python中读取一个非常大的文本列表

Question

我目前正试图通过删除不可靠的数据来减少大型列表。我正在使用

with open("list.txt") as f_line:
    for line in f_line:
       Doing_things()

目前正在使用较小规模的文件，但是当使用较大的主文件时，会出现以下错误。

UnicodeDecodeError：'ascii'编解码器无法解码位置3656中的字节0xe2：序数不在范围内（128）

还有另一种方法可以将列表读入python。该文件还有超过10000个单个数据点用于列表。 谢谢你的帮助。

Answer 1

原因可能是对文件编码的“误解”。你的python解释器需要一个编码为ascii的文本文件，但事实上它被编码为unicode或latin1。如果它包含重音字符，那肯定不是ascii文件。

你使用的是哪个版本的python？ Python 2对文本的处理方式与Python 3不同。

如果不清楚，我通常会使用notepad ++来检查文本文件中使用的编码。

一旦您知道使用了哪种编码，就可以像with open('list.txt', encoding='utf-8') as f_line:这样提及<form method="post" action=""> <input type="text" name="inp"> <input type="submit" name="first" value="first"> <input type="submit" name="second" value="second"> </form>