最近，根据谷歌网站管理员工具，我的网络服务器上的robots.txt文件存在一些问题。更准确地说，由于robots.txt无法访问，我得到了“Crawl推迟”。信息。 这很奇怪，因为如果你试图访问它：http://www.newsflow24.com/robots.txt它看起来很好，即使谷歌抓取测试仪显示没有问题，但真正的谷歌机器人似乎有一些问题。
因此，要了解发生了什么，我想知道，我怎样才能看到日志文件或其中我可以找到谷歌机器人试图在x时间访问robots.txt文件时发生的事情。< / p>
第一段只是我问题的介绍，我真正的问题是第二段。
提前致谢。
答案 0 :(得分：0)
您的http服务器可能会在/var/log/something中生成日志，其中某些内容取决于您使用的服务器。阿帕奇？