在java中访问robots.txt文件

Question

我是java的新手。我想创建一个简单的web crawler.how来访问java.actually网站的robots.txt文件我对robots.txt了解不多。请帮助我。

Answer 1

您需要解决两个任务：

1. 使用HTTP库通过HTTP获取文件 - How to send HTTP request in java?
2. 为robots.txt文件编写或使用解析器 - robots.txt parser java