由于robots.txt而无法使用Google搜索结果的说明

时间:2013-04-02 06:23:01

标签: search robots.txt

我尝试在Google“DailyMuses”中搜索我的网站并获得以下结果

enter image description here

它说“由于此网站的robots.txt而无法获得此结果的说明”

我在我的网络应用程序中检查了robot.text的内容,内容如下:

# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
User-Agent: *
Disallow: /

有人可以告诉我如何解决这个问题并允许在Google搜索中显示说明吗?

1 个答案:

答案 0 :(得分:2)

删除robots.txt。完成。

更新:要允许搜索引擎仅抓取索引页面,请使用以下命令:

User-agent: *
Allow: /index.php
Allow: /$
Disallow: /

或用您的索引文件名替换index.php,例如index.htmlindex.jsp