Question

所以我有两个非常大的表，我想比较（9列和大约3000万行）。

#!/usr/bin/python
import sys
import csv


def compare(sam1, sam2, output):
    with open(sam1, "r") as s1, open(sam2, "r") as s2, open(output, "w") as out:
    reader1 = csv.reader(s1, delimiter = "\t")
    reader2 = csv.reader(s2, delimiter = "\t")
    writer  = csv.writer(out, delimiter = "\t")
    list = []
    for line in reader1:
        list.append(line[0])
    list = set(list)

    for line in reader2:
        for field in line:
            if field not in list:
                writer.writerow(line)

if __name__ == '__main__':
    compare(sys.argv[1], sys.argv[2], sys.argv[3])

第一列包含我的行的标识符，我想知道哪些只在sam1中。

所以这是我目前正在使用的代码，但需要很长时间。有没有办法加快速度？

我已经尝试通过将列表转换为集合来加快速度，但没有太大区别。

编辑：现在它运行得更快但现在我必须从输入表中获取整行并将具有独占ID的行写入输出文件。我怎么能快速管理呢？

Answer 1

一些建议：

不是创建一个然后变成集合的列表，而是直接使用集合：
```
sam1_identifiers = set()
for line in reader1:
    sam1_identifiers.add(line[0])
```
这可能更节省内存，因为你有一个集合而不是列表和集合。这可能会让它快一点。

另请注意，我已更改变量名称 - list是Python内置函数的名称，因此您不应将其用于自己的变量。

由于您要查找仅在sam1中的标识符，而不是嵌套的if / for语句，只需比较并丢弃在sam2中找到的sam1中的ID集合中的任何标识符。

sam2_identifiers = set()
for line in reader2:
    sam2_identifiers.add(line[0])

print sam1 - sam2

甚至

sam2_identifiers = set()
for line in reader2:
    sam1_identifiers.discard(line[0])

print sam1_identifiers

我怀疑它比嵌套循环更快。

也许我错过了什么，但是你不看每一行sam2的每一栏？仅仅查看line[0]标识符就足够了，就像sam1一样吗？

Python：解析数组中第一列大表的最快方法

1 个答案: