所以,我需要解析http://israelbar.org.il中的一些内容,并使用这个cURL,但是当我在浏览器中运行脚本 - 标签时,重新加载,没有任何显示。
$browser = curl_init();
curl_setopt($browser, CURLOPT_URL, $url);
curl_setopt($browser, CURLOPT_REFERER, $referer);
curl_setopt($browser, CURLOPT_USERAGENT, $agent);
curl_setopt($browser, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($browser, CURLOPT_SSL_VERIFYHOST, FALSE);
curl_setopt($browser, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($browser, CURLOPT_CONNECTTIMEOUT, 10); //times out after 11s
curl_setopt($browser, CURLOPT_TIMEOUT, 50); //times out after 51s
curl_setopt($browser, CURLOPT_COOKIEJAR, $cookie_file_path);
curl_setopt($browser, CURLOPT_COOKIEFILE, $cookie_file_path);
$retVal = curl_exec ($browser);
curl_close ($browser);
unset($browser);
return $retVal;
另外,我尝试NodeJS,并在控制台中获取一些未知的JS代码列表。
我认为,这个主要问题 - 它的标题不同,我必须通过cURL发送相同的标题,就像浏览器一样。
答案 0 :(得分:0)
您是否尝试使用像Fiddler这样的工具捕获正在运行的浏览器请求? (http://www.telerik.com/fiddler)。另外,你能澄清一下你正在使用的语言和设置(看起来像PHP吗?)以及哪些标签'正在重新加载(这是你自己的网站吗?)
其他尝试: - 调用您知道将首先工作的网站 - 以确保您的代码正确无误 - 测试时将超时值调整为更大的值