Question

下面的内容在我的Robot.txt文件中。

如果我希望某个特定的搜索引擎能够访问该网站，而不是一些关键区域，例如管理部分，wp内容区域和不存在的文件夹，则是我的语法对于google，msn，bing，yahoo，duckduckbot，下面是否正确，但要禁止其他人？

User-agent: Googlebot
Allow: *
Disallow: /wp-admin/*
Disallow: /wp-content/*
Disallow: /docs/*

User-agent: MSNBot
Allow: *
Disallow: /wp-admin/*
Disallow: /wp-content/*
Disallow: /docs/*

User-agent: Bingbot
Allow: *
Disallow: /wp-admin/*
Disallow: /wp-content/*
Disallow: /docs/*

User-agent: Slurp
Allow: *
Disallow: /wp-admin/*
Disallow: /wp-content/*
Disallow: /docs/*

User-agent: DuckDuckBot
Allow: *
Disallow: /wp-admin/*
Disallow: /wp-content/*
Disallow: /docs/*

User-agent: Google (+https://developers.google.com/+/web/snippet/)
Allow: *
Disallow: /wp-admin/*
Disallow: /wp-content/*
Disallow: /docs/*

User-agent: Googlebot-Image/1.0
Allow: *
Disallow: /wp-admin/*
Disallow: /wp-content/*
Disallow: /docs/*

User-agent: Googlebot-Video/1.0
Allow: *
Disallow: /wp-admin/*
Disallow: /wp-content/*
Disallow: /docs/*

User-agent: SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Allow: *
Disallow: /wp-admin/*
Disallow: /wp-content/*
Disallow: /docs/*

User-agent: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Allow: *
Disallow: /wp-admin/*
Disallow: /wp-content/*
Disallow: /docs/*

User-agent: *
Disallow: *

Answer 1

语法是正确的，但方法是错误的。

<强> 1。永远不要阻止您的内容

Google（和许多其他搜索引擎）完全呈现您的网页。如果您屏蔽了对图片的访问权限，那么Google会将搜索结果放在您的位置，仅针对一个案例。 Googlebot无法理解您的网页是否包含已损坏的图片链接。

这是来自quote的Maile Ohye，Google Developer Programs Tech Lead：

“我们建议您确保Googlebot可以访问任何有意义地为您网站的可见内容或其布局做出贡献的嵌入式资源”

<强> 2。不要阻止/wp-admin/admin-ajax.php

当您完全阻止对/wp-admin/的访问时，机器人无法使用ajax内容。这就是为什么WordPress动态生成的标准robots.txt如下：

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

第3。不要阻止其他机器人

搜索漫游器的列表比您的问题中显示的更宽，并且偶尔会增长。例如，在您的列表中，Googlebot-Mobile不存在。您文件中的最后一个语句会阻止访问此机器人，并为移动搜索带来明显的结果。

最好不要发明一辆自行车，而是使用上面显示的标准WordPress robots.txt设置，甚至wider settings Yoast SEO plugin（安装量超过100万）。

Robot.txt文件的正确语法？

1 个答案: