我目前正在开发一个简单的webcrawler,它将显示给定网站的所有链接。例如,这就是我希望我的程序要做的事情:
- 你给它一个网址:http://www.example.com/
- 然后程序获取html源代码并查找所有<a href=...></a>
标记
- 最后,所有链接都显示给用户
要做到这一点,我使用简单的javacsript与jQuery,我目前停留在$ .ajax()调用:
$.ajax({
url:"http://example.com",
dataType : "jsonp",
crossDomain : true,
success : function(data){
console.log(data);
}
});
这会引发Uncaught SyntaxError: Unexpected token <
错误,但我不知道如何解决这个问题。
这种行为实际上是否可行?如果不是,网络浏览器如何实际显示任何网站的源代码?如果这不是获取HTML源代码的正确方法,那么正确的方法是什么?
感谢您的关注
答案 0 :(得分:0)
您可以通过创建“代理”来设置它。你可以在网上查找,但我记得它是这样的:
<强> PROXY.PHP 强>
<?php
print file_get_contents($_POST[‘url’]);
?>
ON JQUERY var yourURL =“你的网址在这里”; $(“DIV”)。负载(“proxy.php?URL =“+ yourURL)
随意询问您可能有的任何疑问 希望它有所帮助:D