我们有一个网站，可以对后端系统进行昂贵的调用，以显示产品的可用性。我想消除这些非实际客户的页面浏览调用。我的第一个想法是过滤用户代理，如果请求者是蜘蛛/搜索引擎爬虫，则显示“呼叫可用性”或某些此类消息（如果后端系统关闭，我们将显示相同的消息维护或通常不可用）而不是调用后端系统以获得真正的可用性。
在与人们的讨论中，似乎有很多关注可用性图标（一个非常小的图标，请注意你）在被抓取时与用户查看或请求页面时有所不同 - 我们可能会受到惩罚隐藏搜索引擎。
由于我们正在显示的信息是一个非常小的图像图标，而且我们没有向搜索引擎提供与现场用户截然不同的内容，我真的不认为隐藏真的是一个问题 - 但我想得到一些外在的观点。
当页面的整体内容没有改变时，是否会为搜索引擎模拟“信息不可用”场景，或者它是否仍然以某种方式作为隐藏真实内容？
答案 0 :(得分：2)
为什么不让你显示的“信息”使用javascript / ajax。这样，当页面通过非启用javascript的浏览器（例如搜索引擎蜘蛛）加载时，不会进行这种“昂贵的调用”。
或者，您可以将此信息放在页面上的IFRAME中。并排除通过robots.txt或META / robots tag索引IFRAME中显示的页面。
这两种方法都完全是“白帽子”，尽管我认为第二种方法更是如此。