Question

所以我编写了一个从原始基因组文件中提取数据的脚本，下面是原始基因组文件的样子：

# rsid  chromosome  position    genotype
rs4477212   1   82154   AA
rs3094315   1   752566  AG
rs3131972   1   752721  AG
rs12124819  1   776546  AA
rs11240777  1   798959  AG
rs6681049   1   800007  CC
rs4970383   1   838555  AC
rs4475691   1   846808  CT
rs7537756   1   854250  AG
rs13302982  1   861808  GG
rs1110052   1   873558  TT
rs2272756   1   882033  GG
rs3748597   1   888659  CT
rs13303106  1   891945  AA
rs28415373  1   893981  CC
rs13303010  1   894573  GG
rs6696281   1   903104  CT
rs28391282  1   904165  GG
rs2340592   1   910935  GG

原始文本文件有数十万行，但我只需要特定的行，我需要大约10,000行。我有一个rsids列表。我只需要每行的基因型。所以我遍历rsid列表并使用preg_match来找到我需要的行：

    $rawData = file_get_contents('genome_file.txt');
    $rsids = $this->get_snps();

    while ($row = $rsids->fetch_assoc()) {

        $searchPattern = "~rs{$row['rsid']}\t(.*?)\t(.*?)\t(.*?)\n~i";

        if (preg_match($searchPattern,$rawData,$matchedGene)) {

            $genotype = $matchedGene[3]);

            // Do something with genotype

        }   

    }

注意：我删除了很多代码，只显示我正在进行的正则表达式提取。我也在进行数据库时插入每一行。下面是包含数据库工作的代码：

    $rawData = file_get_contents('genome_file.txt');
    $rsids = $this->get_snps();

    $query = "INSERT INTO wp_genomics_results (file_id,snp_id,genotype,reputation,zygosity) VALUES (?,?,?,?,?)";
    $stmt = $ngdb->prepare($query);

    $stmt->bind_param("iissi", $file_id,$snp_id,$genotype,$reputation,$zygosity);

    $ngdb->query("START TRANSACTION");

    while ($row = $rsids->fetch_assoc()) {

        $searchPattern = "~rs{$row['rsid']}\t(.*?)\t(.*?)\t(.*?)\n~i";

        if (preg_match($searchPattern,$rawData,$matchedGene)) {

            $genotype = $matchedGene[3]);

            $stmt->execute();
            $insert++;

        }   


    }   

    $stmt->close();
    $ngdb->query("COMMIT");

    $snps->free();
    $ngdb->close();

}

所以不幸的是我的脚本运行得很慢。运行50次迭代需要17秒。所以你可以想象运行18,000次迭代需要多长时间。我正在研究如何优化这一点。

有没有更快的方法从这个巨大的文本文件中提取我需要的数据？如果我将它分解为一个行数组并使用preg_grep（），那会更快吗？

我尝试的是将所有18,000个rsids组合成一个表达式（即（rs123 | rs124 | rs125），如下所示：

    $rsids = get_rsids(); 

    $rsid_group = implode('|',$rsids);
    $pattern =  "~({$rsid_group })\t(.*?)\t(.*?)\t(.*?)\n~i";
    preg_match($pattern,$rawData,$matches);

但不幸的是，它给了我一些关于超出PCRE表达限制的错误消息。针太大了。我尝试的另一件事是将S修饰符添加到表达式中。我读到这会分析模式以提高性能。它根本没有加快速度。也许模式与它不相容？

那么我需要尝试和优化的第二件事是数据库插入。我添加了一个事务，希望能加快速度，但它根本没有加快速度。所以我想也许我应该将插入组合在一起，以便我一次插入多行，而不是单独插入它们。

然后我读到了另一个想法，使用LOAD DATA INFILE从文本文件加载行。在这种情况下，我只需要先生成一个文本文件。我想知道在这种情况下生成文本文件会更快吗？

编辑：似乎占用大部分时间的是正则表达式。单独运行程序的这一部分，需要很长时间。 10行需要4秒。

Answer 1

这很慢，因为你一遍又一遍地搜索大量数据。

看起来你有一个文本文件，而不是dbms表，包含这样的行：

rs4477212   1   82154   AA
rs3094315   1   752566  AG
rs3131972   1   752721  AG
rs12124819  1   776546  AA

看起来您有一些其他数据结构，其中包含rs4477212等值列表。我认为已经在dbms的表中了。

我认为您想要rsxxxx值的完全匹配，而不是前缀或部分匹配。

我认为您希望处理许多不同的原始数据文件，并从每个文件中提取相同批次的rsxxxx值。

所以，这就是你用伪代码做的事情。不要将整个原始数据文件加载到内存中，而是逐行处理。

只需从dbms中读取一行rsid值，然后将它们存储在关联数组中。
为每个原始数据文件....
1. 对于文件中的每一行数据......
  1. 拆分数据行以获取rsid。在php中，$array = explode(" ", $line, 2);将在$array[0]中生成您的rsid，并快速执行。
  2. 查看此值的rsid值数组。在php中，if ( array_key_exists( $array[0], $rsid_array )) { ...会执行此操作。
  3. 如果密钥确实存在，则表示您匹配。
  4. 从原始文本行（'GC或其他）
  5. 将其写入您的dbms。

注意这是如何避免正则表达式，以及它如何逐行处理原始数据。您只需触摸一行原始数据。这很好，因为您的原始数据也是您最大的数据量。它利用php的关联数组功能来进行匹配。所有这些都比你的方法快得多。

要加快将数万行插入表格的过程，请阅读此内容。 Optimizing InnoDB Insert Queries

Answer 2

+1 @Ollie Jones回答。他在我正在处理我的答案时发布了。所以这里有一些代码可以帮助你入门。

$rsids = $this->get_snps();
while ($row = $rsids->fetch_assoc()) {
    $key = 'rs' . $row['rsid'];
    $rsidHash[$key] = true;
}

$rawDataFd = fopen('genome_file.txt', 'r');
while ($rawData = fgetcsv($rawDataFd, 80, "\t")) {
    if (array_key_exists($rawData[0], $rsidHash)) {
        $genotype = $rawData[3];
        // do something with genotype
    }
}

Answer 3

我想给出LOAD DATA INFILE方法来看看它的效果如何，所以我想出了一个我认为是一个很好的优雅方法，继承代码：

    $file = 'C:/wamp/www/nutri/wp-content/plugins/genomics/genome/test';

    $data_query = "
    LOAD DATA LOCAL INFILE '$file' 
    INTO TABLE wp_genomics_results 
    FIELDS TERMINATED BY '\t' 
    LINES TERMINATED BY '\n' 
    IGNORE 18 ROWS 
    (@rsid,@chromosome,@locus,@genotype) 
    SET file_id = '$file_id', 
        snp_id = (SELECT id FROM wp_pods_snp WHERE rsid = SUBSTR(@rsid,2)), 
        genotype = @genotype
    ";

    $ngdb->query($data_query);

我在snp_id（这是我的RSID表的ID）列上放了一个外键约束，这样它只输入我需要的rsids的基因型。不幸的是，这种外键约束造成了一些锁定表格的错误。呃，好吧。它无论如何都可能不是一个好方法，因为每个基因组文件中平均有200,000行。我将采用Ollie Jones的方法，因为这似乎是我遇到的最有效和最可行的方法。

PHP - 优化数千种模式的preg_match

3 个答案: