我有一个非常大的txt.file(大约20G),我可以使用多进程来读取整个文件而不是从第一行读到它吗?
例如,我有4个进程,然后我先计算文件的行数(假设它有2000行)。进程1读取1~500行,进程2读取501~1000,我想知道是否可能(如果一个进程正在读取,可以同时读取另一个进程吗?)。也许这个问题是关于如何拆分txt文件。
如果没问题。怎么做? 文件的一个进程的代码如下:
file = open(file_path,"r",encoding = 'utf-8')
alllines = file.readlines()
file.close()
for line in alllines:
to do...
我不知道如何改变alllines成为数字。任何建议?提前谢谢。