如何制作一个网络抓取工具，访问在用户查询信息中作为搜索结果获取的链接？

Question

如何制作一个网络抓取工具，访问在用户查询信息中作为搜索结果获取的链接？比如说，如果用户对某个主题提出了一些问题，爬虫必须只访问一些顶级链接。任何人都可以告诉我如何实现这一目标？

Answer 1

谷歌的Custom Search API可能是你最好的选择。它是免费的，旨在以编程方式进行交互。

但是，如果您需要与一个不起眼的网站进行互动，或者需要进行细粒度控制，我已经使用HtmlUnit编写了几个抓取工具。它有点冗长，但绝对有效。