由robots.txt阻止的网址

时间:2017-04-02 11:34:41

标签: xml url sitemap robots.txt

有人可以告诉我哪里出错了。我不熟悉网站上的编码,但一直在研究站点地图及其与robots.txt文件的链接,因为谷歌网站管理员不会添加我的站点地图,因为显然我的robots.txt阻止了他们。这是我的robots.txt文件:

robots.txt

我刚刚开始,所以随着时间的推移,我会添加更多的编码,但现在可以有一个比我更了解的人,告诉我这有什么不对,这不是我的实际网站。谢谢。

1 个答案:

答案 0 :(得分:0)

您的图片链接已损坏,因此无法查看。我不知道你是如何编写代码的,但我在下面提供了正确的语法:

用户代理:*
允许:/


上述代码将授予所有搜索引擎机器人抓取整个网站的权限。如果要在robots.txt中添加站点地图路径,请使用以下语法:

用户代理:*
允许:/
网站地图:http://yoursitename.com/sitemap.xml

如果我能为您提供更多帮助,请告诉我。