Question

我正在扫描许多网页上的文字，然后将它们存储在MySQL数据库中。

我有三张桌子：

字 :( wordid ，字）
页面 :( pageid ，页面）
地图 :( wordid ， pageid ， freq ）

freq字段用于保存页面中单词的出现。

然后使用PHPExcel，我创建了一个单词，页面和频率值所在的工作表。

表格的基本方案如下：

|   A   |   B   |   C   | ....
|       |page1  |page2  | ....
|word1  |     10|      7| ....
|word2  |      2|      1| ....
...
...

所以我有以下代码来获取Excel工作表但需要的工作时间太长而且浏览器停止工作，说服务器响应太晚了。所以我的工作没有完成。我也试过添加

ini_set('max_execution_time', 0);
set_time_limit(36000);

但在添加上述代码之前和之后没有任何变化。

所以我认为现在可以更快地优化查询。

function write2excel($config)
{
    include 'PHPExcel_1.8.0_doc/Classes/PHPExcel.php';
    include 'PHPExcel_1.8.0_doc/Classes/PHPExcel/Writer/Excel2007.php';

    $objPHPExcel = new PHPExcel();

     //retrieve page names from DB in a associative array
     $pages = getPages($config);

     //retrieve word names from DB in a associative array
     $words = getWords($config); 

    $r = 1;
    $c = 0;

     //Write each word into the first column in each row.
    foreach ($words as $w)
    {
        $objPHPExcel->setActiveSheetIndex(0)
                ->setCellValueByColumnAndRow(1, $r, $w['word']);
        $r++;
    }
     //Write page names into the first rows of each column
    foreach ($pages as $p)
    {
        $objPHPExcel->setActiveSheetIndex(0)
                ->setCellValueByColumnAndRow($c, 2, $p['page']);
        $c++;
    }

     $c = 1;
    foreach ($words as $w)
    {
        $r = 2;
        foreach ($pages as $p)
        {
            $freq = getFrequency($p['page'], $w['word'], $config);
            $objPHPExcel->setActiveSheetIndex(0)
                    ->setCellValueByColumnAndRow($c, $r, $freq);

             $r++;
        }
        $c++;
    }

    $objPHPExcel->getActiveSheet()->setTitle('mySheet');

    $objWriter = new PHPExcel_Writer_Excel2007($objPHPExcel);

    $objWriter->save('mySheet.xlsx');
 }

function getWords($config)
{
    require_once $config . '.php';

    $conn = new Connection();

    $query = $conn->db->query('SELECT word FROM words');

    $query->execute();

    return $query->FetchAll(PDO::FETCH_ASSOC);
}

function getPages($config)
{
    require_once $config . '.php';

    $conn = new Connection();

    $query = $conn->db->query('SELECT page FROM pages');

    $query->execute();

    return $query->FetchAll(PDO::FETCH_ASSOC);
}

function getFrequency($page, $word, $config)
{
    require_once $config . '.php';

    $conn = new Connection();

    //find frequency value of the given word for the given page
    $query = $conn->db->prepare('SELECT freq FROM map WHERE pageid IN '
            . '(SELECT pageid FROM pages WHERE page = :page) '
            . 'AND wordid IN (SELECT wordid FROM words WHERE word = :word) LIMIT 1');

    $query->bindValue(':page', $page, PDO::PARAM_STR);
    $query->bindValue(':word', $word, PDO::PARAM_STR);

    $query->execute();

    $row = $query->FetchAll(PDO::FETCH_ASSOC);
    if ($query->rowCount() > 0)
    {
        $freq = $row[0]['freq'];
    }
    else
    {
        $freq = 0;
    }
    return $freq;
}

表字中有超过10000行，表页中有超过1000行

编辑

如果我想为所有页面运行此脚本100到100行，怎么办？我的意思是前100个单词将被取出然后101-200,201-300，...直到结束。

Answer 1

您应该检查确切问题的位置，但您已经可以改进一些事情：

只使用一个连接并传递它，这样每次调用其中一个函数时都不会打开新的数据库连接;
准备一次你的陈述，然后多次执行它，而不是在你调用该函数时每次都在函数中准备它。

除此之外，在循环中（或在这种情况下在嵌套循环中）执行查询总是会出现问题，因此尝试减少查询数量并使用EXPLAIN来优化索引可能会更进一步给予最大的收益。

Answer 2

我个人注意到一次获取所有行非常昂贵。

使用fetch()逐个获取您的记录会快得多，请尝试应用这些更改：

function getWords($config)
{
    require_once $config . '.php';

    $conn = new Connection();

    $query = $conn->db->query('SELECT word FROM words');

    $query->execute();

    $rows = array();
    while($row =$query->fetch(PDO::FETCH_ASSOC) ){
        $rows[]= $row;
    }

    return $rows;
}

function getPages($config)
{
    require_once $config . '.php';

    $conn = new Connection();

    $query = $conn->db->query('SELECT page FROM pages');

    $rows = array();
    while($row =$query->fetch(PDO::FETCH_ASSOC) ){
        $rows[]= $row;
    }

    return $rows;
}

function getFrequency($page, $word, $config)
{
    require_once $config . '.php';

    $conn = new Connection();

    //find frequency value of the given word for the given page
    $query = $conn->db->prepare('SELECT freq FROM map WHERE pageid IN '
            . '(SELECT pageid FROM pages WHERE page = :page) '
            . 'AND wordid IN (SELECT wordid FROM words WHERE word = :word) LIMIT 1');

    $query->bindValue(':page', $page, PDO::PARAM_STR);
    $query->bindValue(':word', $word, PDO::PARAM_STR);

    $query->execute();

    $row = $query->fetch(PDO::FETCH_ASSOC);
    if ($query->rowCount() > 0)
    {
        $freq = $row['freq'];
    }
    else
    {
        $freq = 0;
    }
    return $freq;
}

Answer 3

我已将程序上传到Web服务器，我认为它优于我的笔记本电脑。但我没有解决方案。所以我决定使用limit和offset来划分结果集。

我使用地址栏输入限制和偏移值。我现在正在拿床单。然后我将把它们合并成一张纸。

感谢您的建议。我已将它们应用到我的代码中。我没有测量他们是否加速了我的工作，但似乎是有道理的。

无论如何，我的问题已经解决了。

我已将函数getWords（）更改为：

function getWords($config, $limit, $offset)
{
    require_once $config . '.php';

    $conn = new Connection();

    $query = $conn->db->query('SELECT word FROM words LIMIT ' . $limit . ' OFFSET ' . $offset );

    $query->execute();

    $rows = array();
    while($row =$query->fetch(PDO::FETCH_ASSOC) ){
        $rows[]= $row;
    }

    return $rows;
}

我知道查询容易受到攻击，容易被注入。谁在乎？我已经在我的本地计算机上运行了它。

如何优化我的查询以更快地获得结果？

3 个答案: