如果我在robots.txt中有这些行：
Disallow /folder/
Allow /folder/filename.php
那么filename.php会被允许吗？
google优先考虑哪些订单？
这里会发生什么？例如：
Allow /
Disallow /
我主要是将Google称为搜索引擎。
由于
答案 0 :(得分：5)
对于您的第一个示例，是的，将允许文件/folder/filename.php，因为Google会优先考虑最具体的规则。有关详细信息，请参阅here或check Wikipedia's article。
此外，Google还提供了有关robots.txt如何使用here的详细文档。
编辑：对于第二个例子，根据维基百科引用Byron Whitlock的回答，Allow将被优先排序。
答案 1 :(得分：3)
这取决于搜索引擎：
虽然按标准实施了 首先匹配robots.txt模式 总是赢，谷歌的实施 不同之处在于允许模式 等于或多于中的字符 指令路径赢得匹配 禁止模式。 Bing使用了 允许或禁止指令 最具体的。
为了与所有人兼容 机器人，如果想要允许单身 在其他方面不允许的文件 目录，有必要放置 首先是Allow指令，然后是 禁令。