Question

我找到一份工作来摆脱网站中的“该页面无可用信息”。该网站使用Yoast SEO，但已被禁用，因此我重新启用了它，然后我得到了一个像这样的基本robots.txt

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

我已经将这些设置应用了大约六个小时，尝试在Google中进行搜索，但仍然没有任何改变。我现在很着急。这足以使爬虫阅读该网站吗？我想念什么吗？我需要弄乱.htaccess吗？我的SEO费用为零，因此，我们将不胜感激。

Answer 1

将其复制并粘贴到您的robot.txt

User-agent: Googlebot
Disallow: 
User-agent: googlebot-image
Disallow: 
User-agent: googlebot-mobile
Disallow: 
User-agent: MSNBot
Disallow: 
User-agent: Slurp
Disallow: 
User-agent: Teoma
Disallow: 
User-agent: Gigabot
Disallow: 
User-agent: Robozilla
Disallow: 
User-agent: Nutch
Disallow: 
User-agent: ia_archiver
Disallow: 
User-agent: baiduspider
Disallow: 
User-agent: naverbot
Disallow: 
User-agent: yeti
Disallow: 
User-agent: yahoo-mmcrawler
Disallow: 
User-agent: psbot
Disallow: 
User-agent: yahoo-blogs/v3.9
Disallow: 
User-agent: *
Disallow: 
Sitemap: https://www.yoursitename.com/sitemap.xml

Yoast SEO如何允许爬行机器人

1 个答案: