我想让搜索引擎忽略一个网页的一部分。 这可能吗? 我希望搜索引擎只注意标题和内容,而不是注释,菜单等。
实施例
<p>content 1</p>
<p class='crawlers-cannot-see-this'>content 2</p>
答案 0 :(得分:3)
通过Javascript使用动态内容或只使用iframe。
没有什么可以告诉蜘蛛不要索引代码块或内容。
对于服务器端区别使用$_SERVER['HTTP_USER_AGENT']
,但就像我说的那样,它不一定是最可靠的。
实施例
<?php
$spiderSearch = array(
"GoogleBot"=>"Googlebot",
"MsnBot"=>"msnbot",
"Yahoo! Slurp"=>"Slurp",
"YahooSeeker"=>"YahooSeeker"
//more search terms from
//http://www.useragentstring.com/pages/Crawlerlist/
);
$isSpider = false;
foreach($spiderSearch as $name=>$val){
if(preg_match('/'.$val.'/i',$_SERVER['HTTP_USER_AGENT'])){
$isSpider = true;
break;
}
}
if(!$isSpider){
//SHOW COMMENTS
}
?>
答案 1 :(得分:0)
过滤用户代理或使用robot.txt
答案 2 :(得分:0)
您可以使用iframe隐藏内容,iframe内容可以是:
<html>
<head>
<meta name="robots" content="noindex, nofollow" />
</head>
<body>
<p> This is my content </p>
</body>
</html>
答案 3 :(得分:0)
据我所知,您可以使用iframe来避免抓取工具的任何索引