PHP file_get_contents和CURL无法获取基于javascript的页面的内容

时间:2015-09-11 14:54:38

标签: javascript php curl web-scraping

我已尝试使用file_get_contents和CURL来获取特定页面的内容。我将CURL设置为遵循重定向并更改User-Agent,但是,它不起作用。在浏览器中加载页面时我没有问题。每当我尝试使用file_get_contents或CURL获取它时,我会得到一个包含以下代码的页面:

 <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>Loading ...</title> <script 
src="/jquery.js" type="text/javascript"></script> </head> <html> <noscript>Enable java!</noscript> <div id="status"></div> <script type="text/javascript"> 
function check(){ $.ajax({
    type: "POST",
    url: "/index.php",
    data: "allowed=5b91b80a061537ae6a23835aba38279e",
    success: function(html){if(html == "allowed"){location.reload();}},
    beforeSend:function(){
        $("#status").html("Loading ...")
    }
});
}
$(document).ready(function(){
    check();
});
</script> </html> 

是否有使用基于Javascript的Web Scrapers(如PhantomJs,CasperJs或ZombieJs)绕过没有这样的限制?只需使用普通的PHP?

0 个答案:

没有答案