Question

我不明白为什么Googlebot无法抓取并编制我创建的WordPress网站的索引。这就是我对robots.txt的所作所为：

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-content/
Disallow: /content/
Allow: /content/uploads/

Answer 1

抱歉，我没有权限发表评论，所以听起来可能很傻，但你可以在管理面板上查看

转到设置 - ＆gt;阅读 - ＆gt;和搜索引擎可见性必须取消选中

也在你的前端按 ctrl + u 并寻找元

     <meta name="robots" content="noindex">

也许插件正在设置元机器人，

Answer 2

转到Google的网站管理员工具并在那里添加您的网站。在左侧，转到标签'抓取' - ＆gt;通过谷歌获取信息。现在您应该看到错误，或者按钮“提交到索引”。提交您的页面，它应该在几天内编入索引。

为什么Googlebot无法抓取此robots.txt？

2 个答案: