Sharepoint 2013网站返回304未修改

Question

其中一个sharepoint 2013网站无法通过谷歌机器人抓取。谷歌表示，他无法访问Robots.txt。 当我从chrome开发人员工具看时，似乎服务器返回304代码。

我该如何解决这个问题？

编辑： 当我在没有“www。”（xxxxx.com/robots.txt）的情况下调用网址时，服务器返回200 ok。

用户代理：*

Allow: /

Disallow: /_layouts/
Disallow: /_vti_bin/
Disallow: /_catalogs/


Sitemap: http://www.xxxxxxx.com:80/sitemap.xml

Answer 1

求助：

需要在防火墙上授予对爬网程序服务的访问权限。

感谢。

Answer 2

试试这个：

User-agent: *
Allow: /
Disallow: /_layouts/
Disallow: /_vti_bin/
Disallow: /_catalogs/
Sitemap: sitemap.xml