Question

User-Agent:*
Disallow:/

User-Agent: Googlebot
User-Agent: Googlebot-Mobile
User-Agent: Googlebot-Image
User-Agent: Bingbot
Allow:/

这是否允许所有4个机器人或仅允许Bingbot并禁止所有内容？

修改我的答案可能对忘记/不知道如何测试robot.txt

的人有用

Answer 1

我找到了最好的解决方案，检查您的Search Console页面并在那里测试他们的机器人。

例如：