Robots.txt文件，允许除一个以外的所有根php文件，并禁止所有子文件夹内容

Question

在以下情况下，我似乎正在努力处理robots.txt文件。我希望除一个（exception.php）之外的所有根文件夹* .php文件都被索引，并且希望不对根文件夹的所有子目录中的所有内容进行索引。

我已经尝试了以下方法，但是即使一般的子目录没有索引，它也允许访问子目录中的php文件？

....

# robots.txt 
User-agent: *
Allow: /*.php
disallow: /*
disallow: /exceptions.php

....

任何人都可以帮忙吗？

Answer 1

对于将 <style name="CustomExtendedFloating" parent="Widget.MaterialComponents.ExtendedFloatingActionButton.Icon"> <item name="android:minHeight">56dp</item> </style> 值中的*解释为通配符的抓取工具（它不是robots.txt规范的一部分，但无论如何，许多抓取工具都支持通配符），这应该可以：

Disallow

这不允许使用以下网址：

• User-agent: * Disallow: /exceptions.php Disallow: /*/
• https://example.com/exceptions.php
• https://example.com//
• https://example.com/foo/

它允许以下URL：

• https://example.com/foo/bar.php
• https://example.com/
• https://example.com/foo.php

---

对于未将https://example.com/bar.html值中的*解释为通配符的搜寻器，您必须列出所有子文件夹（在第一级）：

Disallow