我可以使用robots.txt阻止搜索引擎扫描以特定字母开头的文件吗？

Question

我知道我可以阻止搜索引擎使用这样的通配符访问文件类型：

Disallow: /*.gif$ 

禁止访问gif，或者更像是以.gif结尾的文件。

但有没有办法阻止搜索引擎访问例如以＆＃34; _＆＃34;？开头的所有文件？

这样的事情会起作用吗？

Disallow: /_*.*$

或者至少也许这个（如果我绝对需要设置扩展名）？

Disallow: /_*.php$

Answer 1

根据“官方”docs

  

另请注意，在User-agent或Disallow行中支持globbing和正则表达式 。