如何聚集我的网络抓取来源

时间:2009-10-24 11:17:02

标签: ajax iframe same-origin-policy crowdsourcing

我的网络应用程序需要从指定的用户URL下载内容。 目前这个请求通过我的服务器,这是低效的,可能会阻止我的服务器IP。

有没有办法让用户直接下载网址内容? 同源策略似乎阻止使用AJAX或iframe下载和重用此内容。

有什么想法吗?例如,有没有办法通过Flash下载和重用URL内容?

2 个答案:

答案 0 :(得分:1)

您可以使用Tor屏蔽您的请求,但如果您不得不花费这么长的时间来抓取网站,那么您可能不应该这样做?

此外,根据您的方法,iframe请求将包含您的网页网址作为引荐来源,这使得在服务器端识别这些请求非常简单......

答案 1 :(得分:0)

如果是特定的网络方面,我建议与网站运营商交谈,而不是试图匿名抓取。