我尝试在Google“DailyMuses”中搜索我的网站并获得以下结果
它说“由于此网站的robots.txt而无法获得此结果的说明”
我在我的网络应用程序中检查了robot.text的内容,内容如下:
# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
User-Agent: *
Disallow: /
有人可以告诉我如何解决这个问题并允许在Google搜索中显示说明吗?
答案 0 :(得分:2)
删除robots.txt
。完成。
更新:要允许搜索引擎仅抓取索引页面,请使用以下命令:
User-agent: *
Allow: /index.php
Allow: /$
Disallow: /
或用您的索引文件名替换index.php
,例如index.html
或index.jsp