我是新来的，如果google不抓取my website，请告诉我这个问题。
根据Google网站管理员的说法，我发现存在robot.txt文件存在的问题
所以我手动在root上添加了该文件，但我仍然看不到谷歌抓取该网站
这是什么问题？
这也可能是html + wp主题的问题（如果主题文件夹中缺少任何文件需要）或其他任何东西？
谢谢
答案 0 :(得分：0)
您的robots.txt不正确。
http://www.spisehusetfaaborg.dk/robots.txt说
User-agent: *
Allow: http://www.spisehusetfaaborg.dk/
Disallow: /wp-admin/
为了做你想做的事，你可能会想到这个：
User-agent: *
Disallow: /wp-admin/
默认情况下，允许一切，因此您不必指定“允许：”行。实际上，您当前的文件表明它只能索引“http://www.spisehusetfaaborg.dk/http://www.spisehusetfaaborg.dk/”
另请注意，Google可能需要一段时间才能为您的网站编制索引。我最后一次尝试，花了大约一天。