Question

我正在尝试使用simple_html_dom.php 1.5版编写一个爬虫，但它似乎因为未知原因而泄漏内存。我试过1.5，因为他们声称有固定的内存泄漏帮助将不胜感激。重复循环40次后，我收到以下消息

   Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 8388608 bytes) in C:\work\simple_html_dom.php on line 1078
<?php
/**
* ******************TESTING*************************
*/




include("simple_html_dom.php");


$beginning=0;
$end=35;
$FileName = "c:/results.txt";
$FileHandle = fopen($FileName, 'w') or die("can't open file");

for ($i = $beginning; $i < $end; $i++) {

$url = sprintf('http://imgur.com/gallery/hot/day/page/%d?scrolled',$i);

$html = file_get_html($url);

echo "Day: -".$i."\n";


foreach($html -> find('div[class=posts]') as $element){




    foreach($element -> find('img') as $el)
    {
        $urls = $el-> src;
        $urls1 = str_replace('b.jpg','.jpg',$el->src);
        $urls2 =     str_replace('.jpg','',str_replace('.com/','.com/gallery/',str_replace('http://i.','http://',str_replace('b.jpg','.jpg',$el->src))));

        $title=str_replace('&quot;','"',str_replace('&#039;',"'",stristr($el-> title,'<p>',true)));
        $fil= $urls2.'             '.$urls.'             '.$urls1.'             '.$title."\n";
        fwrite($FileHandle, $fil);

    }
}

$html->clear;
unset($html);
}

fclose($FileHandle);




?>

Answer 1

$html->clear;

如果这是您的实际代码，那么您可能希望将其更改为函数调用：$html->clear();

如果不是问题，请尝试降级到1.11，clear()在那里工作得非常好。

Answer 2

您可以使用

增加内存

ini_set("memory_limit","LIMIT");

例如

ini_set("memory_limit","32M");

不过，请查看：PHP Simple HTML Dom Memory Issue

simple_html_dom.php内存问题

2 个答案: