在挖掘Google robots.txt文件时，我注意到了一条我不熟悉的行。
以下代码在robots.txt文件的上下文中是什么意思？
Allow: /$
＆＃39; $＆＃39;改变意思只是简单地说
Allow: /
答案 0 :(得分：4)
根据SearchEngineLand ..
您可以使用美元符号（$）匹配字符串的结尾。例如，要阻止以.asp结尾的网址：
用户代理：Googlebot
禁止：/ * .asp $
看起来它有点像正则表达式。
答案 1 :(得分：1)
有些机器人了解模式匹配。正则表达式中使用$来标记行尾。因此，此规则应允许/但不允许/foo。
虽然我没有 robots.txt 的来源。