使用grails抓取3个网站

Question

您好我正在尝试使用grails构建一个简单的应用程序，其中我需要抓取3个网站以获取数据，而不是书籍的价格。在我选择购买后获取这些详细信息后，它必须重定向到选定的网站。示例请参阅链接http://www.mydiscountbay.com/我被卡住了我不知道如何在grails中实现一个简单的爬虫.pls引导我在hw上使用示例代码或教程来实现它

提前致谢

Answer 1

实现crawler与grails无关，有些开源java爬虫可以根据需要使用或自定义。前端部分就像普通的Grails web应用程序。

Answer 2

使用像URL＃getText（）这样的东西，对于那些具有重定向，cookie等的网站来说，它不会让你走得太远。

对于任何涉及的内容，使用公共HttpClient或groovy HttpBuilder。

http://hc.apache.org/httpcomponents-client-ga/index.html

http://groovy.codehaus.org/HTTP+Builder

要解析响应并提取内容，请使用XmlSlurper，例如：Using XmlSlurper: How to select sub-elements while iterating over a GPathResult