Question

我正在制作我的robots.txt文件。但我对如何禁止Googlebot-Image有点不安全。我想允许谷歌机器人抓取我的网站，除了我在下面做的不允许。这就是我所做的：

User-agent: Googlebot
Disallow:

Disallow: /courses/
Disallow: /portfolio/portfolio-template.php/

User-agent: Googlebot-Image
Disallow: 
/images/graphics/erhvervserfaring/
/images/graphics/uddannelse/

sitemap: http://www.example.com/sitemap.xml

用户代理：Googlebot和User-agent: Googlebot-Image是否应该一起写，所以它是这样的？：

用户代理：Googlebot-Image 用户代理：Googlebot 禁止：

Disallow: /courses/
          /portfolio/portfolio-template.php/
          /images/graphics/erhvervserfaring/
          /images/graphics/uddannelse/

Answer 1

不，您应该将它们与Disallow信息一起单独编写。此外，您还应复制Disallow信息。

User-agent: Googlebot-Image
Disallow: /courses/
Disallow: /portfolio/portfolio-template.php/
Disallow: /images/graphics/erhvervserfaring/
Disallow: /images/graphics/uddannelse/

User-agent: Googlebot
Disallow: /courses/
Disallow: /portfolio/portfolio-template.php/
Disallow: /images/graphics/erhvervserfaring/
Disallow: /images/graphics/uddannelse/

作为参考，您可以看到他们的robots.txt中Facebook和apple做了什么。

禁止使用某些图像文件夹

1 个答案: