我正在尝试设置我的robots.txt，但我不确定正则表达式。
我有四种不同的页面，全部有三种不同的语言版本。我认为我可以使用正则表达式而不是列出每页3次。
nav.aspx
page.aspx / changelang （可能附加了一个查询字符串，例如“？toLang = fr”。）
mypage.aspx？id 和 login.aspx / logoff （= 12346？...等 - 每次都不同）
！所有四种语言有三种不同的语言，例如：
www.example.com/es/nav.aspx
www.example.com/it/nav.aspx
www.example.com/fr/nav.aspx
现在，我的问题是：以下正则表达式是否正确？
User-Agent: *
Disallow: /*nav\.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage\.aspx?id
Disallow: /*login\.aspx\/logoff
由于
答案 0 :(得分：17)
robots.txt中不允许使用正则表达式，但Googlebot（以及其他一些机器人）可以理解一些简单的模式匹配：
您的robots.txt应如下所示：
User-agent: *
Disallow: /*nav.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage.aspx?id
Disallow: /*login.aspx/logoff
User-agent指令对小写a有效。你不必逃避.或`/'。