就像你们中的一些人一样，我们收到了来自Google网站管理员工具的关于CSS和JS文件的电子邮件，这些文件被“阻止”＃34;对于他们的爬虫，所以我们不得不在robots.txt中允许它们。这里没问题。
但是现在GoogleBot需要访问图片，但我们不希望它们在Google图片搜索中被编入索引。那么有没有办法让GoogleBot访问它们但不对它们编制索引？
由于
答案 0 :(得分：1)
添加
Disallow: /images
到您的robots.txt文件。 Robots.txt是您用来控制不仅由Google而且由任何合法机器人编制索引的内容（因为他们查找该文件）。
这会阻止编制索引，但我不确定您的意思是什么，允许访问。＆＃34;渲染的页面仍将包含图像，因此任何快照或预览应该仍然可以。
更新
你是对的，你指定你不希望它们被阻止，但你不希望它们被编入索引。
为此，您需要使用noindex。
Google建议将其放入您的漫游器文件中：
User-agent: Googlebot-Image
Disallow: /