从其他网站抓取数据以显示在我的网站上

时间:2014-08-26 14:10:20

标签: javascript html css

我正在尝试试验我的项目,尝试从网站抓取数据并将其显示在我的原始网站上。

例如,我想在我想要抓取的网站中搜索关键字“pepper”

http://eshop.tesco.com.my/en-GB/Search/List?searchQuery=pepper&Search=Search

之后我想在我的网站上显示结果。

我可以知道我可以使用哪种方法来执行此操作吗?

谢谢

2 个答案:

答案 0 :(得分:1)

我假设您正在尝试完全实现客户端(而不是服务器端)。 JavaScript same-origin policy的难点在于它。您无法从网络浏览器客户端轻松查询其他域上的资源。

您需要包含非Javascript客户端技术(Flash,Java,PNaCl等)或具有服务器端组件。你可以在网上找到一些像这样的闪光对象,但我还没有使用任何闪光对象,也无法提供任何选择建议。我也一般不推荐这个解决方案。

如果您可以使用服务器端组件,则可以让您的服务器执行ping和&抓取(最好)或注入CORS标题。 CORS标题将允许您在客户端上保留JavaScript中的所有逻辑,但会限制您可以在预定义列表中查询的域以及旧版浏览器中的are not universally supported

答案 1 :(得分:0)

获取请求的页面源代码,使用RegExp解析所需的部分,提取所有链接的休息,重复这些链接的过程,直到您完全抓取此网站(请注意,您不需要抓取Facebook,Google +或类似网站) !)