读取多个TSV文件并写入一个TSV文件Python

时间:2017-10-10 18:44:28

标签: python csv parsing

所以,我有多个TSV文件,格式如下:

a    b    c    d    e    f    g    h
a_1  b_1  c_1  d_1  e_1  f_1  g_1  h_1
a_2  b_2  c_2  d_2  e_2  f_2  g_2  h_2
.    .    .    .    .    .    .    .
.    .    .    .    .    .    .    .
.    .    .    .    .    .    .    .
a_n  b_n  c_n  d_n  e_n  f_n  g_n  h_n

(第一行(a,b,...)是标题)

我想要全部读取它们,如果对于每一行,其中一列具有我想要的属性(假设它等于1),我想将该行保存在具有相同格式的不同TSV文件中如上所述,但数据将被过滤。

我有代码提取我想要的行并将其写入TSV文件,但我不知道如何读取多个TSV文件并写入单个TSV文件。

这是我到目前为止所拥有的:

with open("./someDirectory/file.tsv") as in_file, 
open("newFile.tsv","w") as out_file:
first_line = True
for line in in_file:
    if first_line: #to print the titles
        print(line, file=out_file)
        first_line = False
    columns = line.split("\t")
    columnToLookAt = columns[7]
    if columnToLookAt == "1":
        print(line, file=out_file)

所以说someDirectory有80个tsv文件。迭代所有这些并将所需的行写入out_file的最佳方法是什么?

1 个答案:

答案 0 :(得分:0)

您可以使用标准库中的glob.glob根据某种模式获取文件名列表:

>>> import glob
>>> glob.glob('/tmp/*.tsv')
['/tmp/file1.tsv', '/tmp/file2.tsv', ...]

然后迭代所有这些作为输入文件。例如:

import glob

first_line = True
with open("newFile.tsv","w") as out_file:
    for in_path in glob.glob("./someDirectory/*.tsv"):
        with open(in_path) as in_file:
            for line in in_file:
                if first_line: #to print the titles
                    print(line, file=out_file)
                    first_line = False
                columns = line.split("\t")
                columnToLookAt = columns[7]
                if columnToLookAt == "1":
                    print(line, file=out_file)

作为旁注,您还可以使用csv.reader模块通过设置dialect='excel-tab'来读取制表符分隔值文件。