寻找“网页抓取脚本生成器”

Question

我正在编写代码，使用 HTMLUnit 从一些网站访问和下载数据。

我想知道一个可以帮助我的工具是否存在。我想也许是一个可视化工具，它可以让你在网站上直观地表达你想要遵循的路径并生成Java代码。

我想要HTMLUnit的东西，但我对其他解决方案持开放态度。

编写屏幕抓取代码变得非常重复:(

Answer 1

不完全是可视化工具，但也许您可以使用JMeter或The Grinder之类的内容来记录网页的导航脚本。它们肯定比在HTMLUnit中手动编写所有输入请求更容易使用。

Answer 2

只有一种工具可以做到这一点 - 而且效果非常好 - 但它非常昂贵，因为它们的技术非常棒。一些最大的公司使用它。如果你想尝试一下，我想你可能会获得免费试用。 http://kapowsoftware.com/

Answer 3

我曾经在screen-scraper工作。不确定它是否是您正在寻找的，但它绝对是构建网络抓取脚本的强大工具。