Python编码提示

Question

我有一个简单的脚本，首先读取CSV表（95MB，672343行）并从中创建5个列表（chrs，type，name，start，end）。然后它打开另一个文件（37MB，795516行），读取每一行并将其与之比较，如果一切正常 - 将字符串写入输出文件。这需要很多时间。

preg_replace('!\[(.+?)\]!i', '[$1_'.$i.']', $v[1])

我想知道是否可以并行运行，我可以访问服务器，我可以同时运行多达10个进程。

Answer 1

问题是，你迭代672343 * 795516 = 534'859'613'988次，这是很多。您需要一个更智能的解决方案。

所以我们发现问题是我们看了太多数据，我们需要改变它。一种方法是尝试聪明。也许创建一个字典，其中密钥对应chr，所以我们只需要检查这些条目。但是，我们尚未处理start和end。也许有一种聪明的方法可以做到这一点......

这开始看起来很像数据库。因此，如果它是一个数据库，也许我们应该将其视为一个数据库。 Python附带了sqlite3。

这是一个解决方案，但那里有无数其他可能性。

import sqlite3
import csv

# create an in-memory database
conn = sqlite3.connect(":memory:")

# create the tables
c = conn.cursor()
c.execute("""CREATE TABLE t1 (
    chr   TEXT,
    type  TEXT,
    name  TEXT,
    start INTEGER,
    end   INTEGER
);""")

# if you only have a few columns, just name them all,
# if you have a lot, maybe just put everything in one
# column as a string
c.execute("""CREATE TABLE t2 (
    chr TEXT,
    num INTEGER,
    col3,
    col4
);""")

# create indices on the columns we use for selecting
c.execute("""CREATE INDEX i1 ON t1 (chr, start, end);""")
c.execute("""CREATE INDEX i2 ON t2 (chr, num);""")

# fill the tables
with open("comparison_file.csv", 'rb') as f:
    reader = csv.reader(f)
    # sqlite takes care of converting the number-strings to numbers
    c.executemany("INSERT INTO t1 VALUES (?, ?, ?, ?, ?)", reader)

with open("input.csv", 'rb') as f:
    reader = csv.reader(f)
    # sqlite takes care of converting the number-strings to numbers
    c.executemany("INSERT INTO t2 VALUES (?, ?, ?, ?)", reader)

# now let sqlite do its magic and select the correct lines
c.execute("""SELECT t2.*, t1.* FROM t1
             JOIN t2 ON t1.chr == t2.chr
             WHERE t2.num BETWEEN t1.start AND t1.end;""")

# write result to disk
with open("output.csv", "wb") as f:
    writer = csv.writer(f)
    for row in c:
        writer.writerow(row)

Python编码提示

以下是我编写原始代码的方法。

import csv

# used to be chrs[], type[], name[], start[], end[]
comparisons = []
with open("comparison_file.csv", 'rb') as f:
    reader = csv.reader(f)
    for chr, type, name, start, end in reader:
        comparisons.append([chr, type, name, int(start), int(end)])

with open("output.csv", 'wb') as out_file, \
     open("input.csv", 'rb') as in_file:
    writer = csv.writer(out_file)
    reader = csv.reader(in_file)

    for line in reader:
        for comp in comparisons:
            chr, _, _, end, start = *comp
            if line[0] == chr and \
               int(line[1]) >= start and \
               int(line[2]) >= end:
                writer.writerow(comp + line)

备注1

line = line[0:len(line) - 1]

可以写成

line = line[:-1]

备注2

而不是

my_list = [1,2,3]
for i in xrange(len(my_list)):
    # do something with my_list[i]

你应该这样做：

my_list = [1,2,3]
for item in my_list:
    # do something with item

如果您需要索引，请将其与enumerate()合并。

Answer 2

我可以想到一些可能会加快进度的事情，从重新排列第一个文件中的数据开始。

不要将其转换为5个list个，而应将dict list个tuple个chr作为关键字import csv import collections import bisect # Use a defaultdict so we don't have to worry about whether a chr already exists foobars = collections.defaultdict(list) with open('file1.csv', 'rb') as csvfile: rdr = csv.reader(csvfile) for (chrs, typ, name, start, end) in rdr: foobars[chrs].append((int(start), int(end), typ, name))

foobars

然后对start中的每个列表进行排序（您应该将其重命名为适合您的任务的列表），这将首先按for lst in foobars.values(): lst.sort()值排序，因为我们将其放在元组中的第一个：

for line in inputFile:
    line = line.rstrip('\n')
    arr = line.split('\t')
    arr1int = int(arr[1])
    # Since we rearranged our data, we only have to check one of our sublists
    search = foobars[arr[0]]
    # We use bisect to quickly find the first item where the start value
    # is higher than arr[1]
    highest = bisect.bisect(search, (arr1int + 1,))
    # Now we have a much smaller number of records to check, and we've 
    # already ensured that chr is a match, and arr[1] >= start
    for (start, end, typ, name) in search[:highest]:
        if arr1int <= end:
            outputFile.write('\t'.join((arr[0], typ, str(start), str(end), name, line)) + '\n')

现在处理你的第二个文件：

bisect.bisect()

bisect行应该得到一些额外的解释。如果您有一个已排序的值序列，start可用于查找将新值插入序列的位置。我们在此处使用它来查找列表中arr[1]大于(arr1int + 1,)的第一个值（花点时间思考这些概念是如何相关的）。奇怪的start == arr[1]值只是确保我们包含@IdClass的所有条目并将其转换为元组，以便我们比较相似的值。

这几乎肯定会提高代码的性能。通过多少我没有资格说出来。

如果没有输入数据，我无法真正测试此代码，因此几乎肯定会出现小错误。希望它们很容易修复。

在Python中并行读取和过滤文件

2 个答案:

Python编码提示

备注1

备注2