想知道以下是否适用于robots.txt中的google
禁止:/ *。动作
我需要排除所有以.action结尾的网址。
这是对的吗?
答案 0 :(得分:7)
要阻止特定文件类型的文件(例如.gif),请使用以下命令:
User-agent: Googlebot
Disallow: /*.gif$
所以,你很亲密。使用Disallow:/ *。action $,尾随“$”
当然,这仅仅是谷歌的建议:http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449
所有机器人都不同。
答案 1 :(得分:6)
robots.txt specification无法包含通配符,只能包含URI的开头。
Google实施了非标准扩展程序,在documentation中有所描述(请参阅“阻止特定文件类型的文件”下的“手动创建robots.txt文件”部分。)
答案 2 :(得分:0)
我认为它不会起作用,您需要将所有.action文件移动到您不允许的位置