我正在为客户建立一个房地产网站，我将从RETS服务器获取所有数据。数据库中大约有5,000多个属性，因此我会动态地为每个属性提取图像（以免我的服务器过载）。
一切正常，但我只在用户查看某个属性时拉取图像。所以我的问题是：搜索机器人是否也会触发此图像下载？
如果是这样，我该如何防止？
答案 0 :(得分：2)
取决于搜索机器人。如果您的图片都是通过一些已知且格式正确的网址提供的，那么您可以通过在robots.txt文件中添加禁止行来告诉机器人不要点击它们：
User-agent: *
Disallow: /images/