如何阻止robots.txt中除目录索引之外的所有URL？

Question

例如，我想屏蔽/foo.php，/foo/foo.php以及robots.txt中的所有其他类似网址，只留下/，/foo/等。

换句话说，我想阻止除目录之外的所有内容。

这怎么可能？

Answer 1

如果要阻止的所有网址都以.php结尾（或包含），则可以使用

User-agent: *
Disallow: /*.php

但是，这会使用*通配符，它​​可能不是所有解析器支持（Google supports it）。