Question

在挖掘Google robots.txt文件时，我注意到了一条我不熟悉的行。

以下代码在robots.txt文件的上下文中是什么意思？

Allow: /$

＆＃39; $＆＃39;改变意思只是简单地说

Allow: /

Answer 1

您可以使用美元符号（$）匹配字符串的结尾。例如，要阻止以.asp结尾的网址：

用户代理：Googlebot
  禁止：/ * .asp $

看起来它有点像正则表达式。

Answer 2

有些机器人了解模式匹配。正则表达式中使用$来标记行尾。因此，此规则应允许/但不允许/foo。

虽然我没有 robots.txt 的来源。