如何从页面爬行子类别？

Question

我正在尝试在java中编写一个主题爬虫。我已经为亚马逊编写了一个爬虫程序，它遍历了整个网站并给了我所有的链接。 现在我有点想写一个爬行器，它只爬行某些区域。我的目标是抓住亚马逊，只从某个categegoy获取文章。 有没有人对此有所想法？ 提前致谢。我很感激每一个帮助!!

Answer 1

如果网址有任何提示，那么您应该检查这些网址。

Answer 2

只是一个天真的想法。每个零售网站，如亚马逊，都有过滤选项。最有可能的参数是使用网址中的GET传递的。您可以使用它，以获得所需的结果。如果是AJAX，请按照AJAX调用。