我有多个文件,我想同时阅读它们,从每行中提取一个数字并进行平均值。对于少量文件,我在itertools模块中使用izip执行此操作。这是我的代码。
from itertools import izip
import math
g=open("MSDpara_ave_nvt.dat",'w')
with open("sample1/err_msdCECfortran_nvt.dat",'r') as f1, \
open("sample2/err_msdCECfortran_nvt.dat",'r') as f2, \
open("sample3/err_msdCECfortran_nvt.dat",'r') as f3, \
open("err_msdCECfortran_nvt.dat",'r') as f4:
for x,y,z,bg in izip(f1,f2,f3,f4):
args1=x.split()
i1 = float(args1[0])
msd1 = float(args1[1])
args2=y.split()
i2 = float(args2[0])
msd2 = float(args2[1])
args3=z.split()
i3 = float(args3[0])
msd3 = float(args3[1])
args4=bg.split()
i4 = float(args4[0])
msd4 = float(args4[1])
msdave = (msd1 + msd2 + msd3 + msd4)/4.0
print>>g, "%e %e" %(i1, msdave)
f1.close()
f2.close()
f3.close()
f4.close()
g.close()
此代码可以正常工作。但是,如果我想同时处理100个文件,如果我这样做,代码会变得非常冗长。还有其他更简单的方法吗?似乎fileinput模块也可以处理多个文件,但我不知道它是否可以同时执行。
感谢。
答案 0 :(得分:7)
with open
模式很好,但在这种情况下它会妨碍你。您可以打开文件列表,然后在izip
:
filenames = ["sample1/err_msdCECfortran_nvt.dat",...]
files = [open(i, "r") for i in filenames]
for rows in izip(*files):
# rows is now a tuple containing one row from each file
在Python 3.3+中,您还可以在with
块中使用ExitStack
:
filenames = ["sample1/err_msdCECfortran_nvt.dat",...]
with ExitStack() as stack:
files = [stack.enter_context(open(i, "r")) for i in filenames]
for rows in zip(*files):
# rows is now a tuple containing one row from each file
在Python< 3.3,使用with
具有所有优点(例如,无论你如何退出块都及时关闭),你需要创建自己的上下文管理器:
class FileListReader(object):
def init(self, filenames):
self.files = [open(i, "r") for i in filenames]
def __enter__(self):
for i in files:
i.__enter__()
return self
def __exit__(self, exc_type, exc_value, traceback):
for i in files:
i.__exit__(exc_type, exc_value, traceback)
然后你可以这样做:
filenames = ["sample1/err_msdCECfortran_nvt.dat",...]
with FileListReader(filenames) as f:
for rows in izip(*f.files):
#...
在这种情况下,最后一个可能被视为过度工程。