从Google网页下载DOM

时间:2018-04-24 01:28:52

标签: php dom web-scraping screen-scraping

我正在尝试从google群组下载DOM。但是,当我使用PHP尝试使用POST或GET方法时,谷歌会返回登录页面,而不是谷歌组首页。我尝试使用curl方法得到相同的结果。

我该怎么办?

P.S:我们正在迁移该群组,因此我们需要用户发布的帖子。

<?php

function curlGet($url, $header){
   $ch =  curl_init();//start curl
   curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
   curl_setopt($ch, CURLOPT_URL, $url);            //curl Targeted URL
   curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
   curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.8 [en] (Windows NT 5.1; U)');
   curl_setopt($ch, CURLOPT_HTTPHEADER, $header);

   $result =  curl_exec($ch);
   $httpResponse = curl_getinfo($ch, CURLINFO_HTTP_CODE);
   curl_close($ch);
   return $result;
}

$targetURL = 'https://groups.google.com/forum/m/#!forum/ybsf';
$header = array('Accept-Language: en-us,en;q=0.7,bn-bn;q=0.3','Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5');
$responsePg = curlGet($targetURL, $header);
echo $responsePg;

0 个答案:

没有答案