python open（文件）只读了大约2507000行？

Question

我尝试使用python读取一个大文件，但似乎python只处理大约2507000行然后停止。你能建议一下吗？

我在Windows上使用Python 2.7 32bit。我也发布了我正在使用的代码。感谢。

counter = 0
with open(input) as file:
    for line in file:
        counter += 1
        if counter % 1000 == 0:
            sys.stderr.write(str(counter) + "lines processed.\n")

Answer 1

不同的程序可能会以不同的方式计算行数，具体取决于他们期望分隔行的方式。 DOS / Windows约定为\r\n，Unix约定为\n作为分隔符。

如果您使用open(filename, "U")以通用换行模式打开文件，您的程序将识别所有不同的分隔符。