为什么google索引这个?

时间:2010-10-05 10:16:21

标签: seo search-engine web-crawler robots.txt

3 个答案:

答案 0 :(得分:1)

由于域名不同(实际上是域名和子域名):页面来自http://www.alvolante.it,图片来自http://immagini.alvolante.it

Robots.txt仅在www域中。如果该文件也在http://immagini.alvolante.it/,那么Google就不会将图片编入索引。

尝试访问http://immagini.alvolante.it/siteshttp://www.alvolante.it/sites,您会看到不同的网页。

答案 1 :(得分:0)

使用google WebMaster Tools,您可以测试robots.txt。

http://www.google.com/webmasters/

答案 2 :(得分:0)

您是否已禁止所有机器人,或者此规则仅适用于Googlebot?如果是后者,则需要确保您还包含“Googlebot-Image”用户代理的规则。