任何自动捕获网站数据的解决方案？

Question

我想编写一个从网站捕获数据的应用程序，该网站正在使用ajax从服务器检索数据。
是否有任何解决方案可以方便地获取这些数据并存储到我自己的数据库中？由于该网站中的数据是动态的，历史数据将消失，我想跟踪它们。

请提前解决任何解决方案！

Answer 1

Selenium RC可以做一些工作。\

http://seleniumhq.org/

Answer 2

您可以尝试使用IRobotSoft Web Scraper。在这里检查演示http://irobotsoft.com/help/以查看它是否是您想要的。