我已尝试使用file_get_contents和CURL来获取特定页面的内容。我将CURL设置为遵循重定向并更改User-Agent
,但是,它不起作用。在浏览器中加载页面时我没有问题。每当我尝试使用file_get_contents或CURL获取它时,我会得到一个包含以下代码的页面:
<!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>Loading ...</title> <script
src="/jquery.js" type="text/javascript"></script> </head> <html> <noscript>Enable java!</noscript> <div id="status"></div> <script type="text/javascript">
function check(){ $.ajax({
type: "POST",
url: "/index.php",
data: "allowed=5b91b80a061537ae6a23835aba38279e",
success: function(html){if(html == "allowed"){location.reload();}},
beforeSend:function(){
$("#status").html("Loading ...")
}
});
}
$(document).ready(function(){
check();
});
</script> </html>
是否有使用基于Javascript的Web Scrapers(如PhantomJs,CasperJs或ZombieJs)绕过没有这样的限制?只需使用普通的PHP?