我应该在robots.txt中使用#End Robots#还是不?
我的意思是,它有助于防止我获得空格吗?
现在它看起来像那样:
User-agent: *
Disallow: /admin/
Disallow: /account/
Disallow: /access-denied/
#End Robots#
答案 0 :(得分:2)
http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449似乎表明不需要它。
就我个人而言,我从未将其添加到我已部署的任何机器人文件中,而且我从未遇到过任何问题。