如何在java中创建Web爬虫

Question

如何在java编程中创建有效的Web爬虫？ 它应该消除重复的URL和应该减少网络流量。如果有人在java中使用源代码或教程来构建Web爬虫，请告诉我。 它中使用的参数是什么？

Answer 1

List of open source web crawlers
您可以使用其他语言找到开源Java抓取工具和抓取工具。