使用1指令禁止用于不同目的的机器人

Question

我可以将下面的2指令合并为一个显示在它下面吗？google或bing bot仍然会关注我的机器人？我最近看到bingbot没有遵循第二条指令，并且考虑是否将它们可能遵循的指令结合起来。

原始

User-agent:*
Disallow: /folder1/
Disallow: /folder2/

User-agent: *
Disallow: /*.png
Disallow: /*.jpg

想要改变这个

User-agent:*
Disallow: /folder1/
Disallow: /folder2/
Disallow: /*.png
Disallow: /*.jpg

Answer 1

您may only have one记录了User-agent: *：

  

如果值为＆＃39; *＆＃39;，则记录描述任何未匹配任何其他记录的机器人的默认访问策略。 不允许在＆＃34; /robots.txt"中包含多个此类记录。文件。

当拥有多个这些记录时，机器人（与更具体的记录不匹配）可能只跟随文件中的第一个。

所以你 使用此记录：

User-agent: *
Disallow: /folder1/
Disallow: /folder2/
Disallow: /*.png
Disallow: /*.jpg

请注意，*值中的Disallow在原始robots.txt规范中没有特殊含义，但有些消费者将其用作通配符。