我想阻止抓取工具为我网站上的特定图片编制索引，但前提是他们的年龄超过特定日期。但是，爬虫不应停止索引当前链接图像的页面。
我最初的做法是编写一个脚本，将图片的网址添加到＆＃39; robots.txt＆＃39;，但我认为该文件会变得庞大，因为我们谈论了大量的潜在图片
我的下一个想法是使用<meta name="robots" content="noimageindex">标记，但我认为这种方法可能容易出错，因为我可能忘记将此标记添加到模板中，我可能希望阻止抓取工具索引图像。它也是多余的，爬虫将忽略所有图像。
我的问题是：如果条件（在我的情况下为日期）为真，您是否知道以编程方式强制爬虫也不能索引图像？或者我唯一可能阻止抓取工具索引整个页面？
答案 0 :(得分：2)
建立在你的想法之上，你可以创建一个单独的地方来保存你不想被索引的图像，写一个脚本，一旦他们将文件移动到那个位置。重新过期＆＃34;然后将url添加到robots.txt文件中。也许像/expired_images*。