当Google的Spiders抓取我的某个网站时，他们会将选择列表中的数据作为页面数据提取。我完全理解为什么会这样，但问题是，它能以任何方式被阻止吗？我不想阻止整个页面被抓取，而只是阻止选择列表数据。
问题如下：搜索Google时，选择列表数据显示为页面摘要，而不是内容。描述标签专门用于帮助搜索引擎优化并为潜在的网站访问者提供有用的信息，但其预期的功能尚未实现。
检查此示例案例https://www.google.com/search?q=alaskan klee kai site%3Awiki-pet.com
这会损害网站上搜索效果的有效性，因为超过1页的网页会在搜索结果中显示相同的数据。有超过200页具有完全相同的选择列表，便于导航。选择列表不会被删除。
我有一个想法是在页面有
后用onload（）脚本填充内容完全加载..有什么想法吗？
[修改
查看搜索结果＃3＆amp; 5包含这个文字：“所有品种 - - - ，Affenpinscher，阿富汗猎犬，Airedale梗，Akbash狗，秋田，Alapaha蓝血斗牛犬，阿拉斯加克利凯，阿拉斯加......”
这是直接来自相关网页上的选择列表的内容。
答案 0 :(得分：0)
在服务器上，检查用户代理是否与Googlebot（或其他受欢迎的蜘蛛，例如bingbot）匹配，并且不会呈现该内容。