Question

我使用webscraping使用SIMPLE PHP DOM PARSER CLASS从某个网站获取数据我面临的问题很少。

有两个网站正在返回错误HTTP 403 forbidden

其次根据下面的代码，我在8个URL后从9个URL中抓取9个产品我得到错误我洗牌并检查单个但是它不是url它的执行时间或web请求可能被允许为我得到Appache windows错误。我试图延迟使用它睡眠（10）; 它没有工作任何帮助将受到高度赞赏

      $url = $this->urls['abc'].'Product/1/1_oz_Gold_American_Eagle___Random_Year.aspx';
        $regex = 'span[id=ctl10_ctl00_tc1_TabPnlProdDesc_lblbuyprice]';
          $data=$this->getCoinVal($url,$regex);     

                   $this->update_scrap(GAE_1,APMEX,strip_tags($this->r_dollar($data)),$url);

Answer 1

将此用于括号（）

中的延时

  import time

  time.sleep(sec)

Answer 2

错误是由于apache服务器中的内存泄漏

所以使用这两行就可以了。

              $dom->clear();  
              unset($dom);

其中$ dom是解析器类的对象

网页搜寻之间的延迟

2 个答案: