如何在ruby中编写爬虫？

Question

我正在开发一个ROR应用程序，我需要实现一个爬虫程序来抓取其他站点并将数据存储在我的数据库中。例如，假设我想从http://www.snapdeal.com抓取所有交易并将它们存储到我的数据库中。如何使用crawler实现这一点？

Answer 1

根据您的使用情况，有几种选择。

• Nokogiri。 Here是可以帮助您入门的RailsCast。
• Mechanize建立在Nokogiri之上。请参阅Mechanize RailsCast。
• 使用ScrAPI和ScrAPI RailsCast进行屏幕抓取。
• Hpricot。

我使用Nokogiri和Mechanize的组合来完成我的项目，我认为它们是不错的选择。

Answer 2

您想看看mechanize。同样根据你的提及，你可能根本不需要轨道。

Answer 3

正如Sergio评论的那样，您检索网页，解析网页并关注其链接。在您的情况下，听起来您更关注“屏幕抓取”而不是抓取深层链接网络，因此像Scrubyt这样的库会有所帮助（虽然它的进展已经消失）。您还可以使用较低级别的以解析为重点的库，如Nokogiri。