明确地组合文本文件

Question

我有很多文本文件（1,409），有259,200 x 1个数据点（每个文本文件是一年和变量）。我想将这些文本列合并为一个文本文件，即

botTemp_1950 | botTemp_1951 | botTemp_1952 | ... etc
....           ....           .... 
.
.
.

我已经这样做但数据排列成1列，大小为4GB。有没有办法在Windows中执行此操作，但是我是否需要像Python这样的脚本语言？

然后我想为每列只屏蔽200行左右的数据，并取每列的平均值，这样每个变量都有一个时间序列。

如果我能做到这两件事情那么理想，但主要是在列之后，我可以在Excel中相当容易地应用蒙版，前提是我可以打开文本文件。

提前致谢。

Answer 1

在Python中，您可以尝试以下方法：

os.chdir(current_dir_with_txt_files)
txtfiles = [open(i) for i in os.listdir('*.txt')]

out = open(out_name, 'w')

from itertools import izip
for l1,l2,l3 in izip(*txtfiles):
    out.write(','.join(l1.strip(), l2.strip(), l3.strip() + '\n')
out.close()

这可能需要一段时间，但不会消耗所有RAM内存。