当nmap扫描Robots.txt文件时，什么是“不允许的条目”？

Question

我一直在使用nmap扫描IP地址，输出的一部分是：

| http-robots.txt：1禁止条目

这是什么意思？

| http-robots.txt：1禁止条目

Answer 1

这是Disallow: X格式的robots.txt文件中的条目。这意味着至少有一些User-Agent被指示不要求这些URI。它们的列表应列在您显示的行下方。您可以在robotstxt.org上阅读有关robots.txt标准和格式的更多信息。