使用@@的robots.txt网址格式

Question

我想禁止/book-search，目前robots.txt中有一条规则如下：

Disallow: /@@book-search* 

当我尝试使用网站管理员工具robots.txt测试时，它仍然允许/book-search。

是因为@@吗？ @@是什么意思？

Answer 1

@@在robots.txt specification中没有保留含义。

因此像Disallow: /@@example这样的行将禁止抓取路径字面上以/@@example开头的网址，例如：

http://example.com/@@example
http://example.com/@@example.html
http://example.com/@@example/foo

如果您要禁止抓取路径以/book-search开头的网址，则应使用：

Disallow: /book-search

（without a trailing *）

这将禁止抓取，例如：

http://example.com/book-search
http://example.com/book-search.html
http://example.com/book-search/
http://example.com/book-search/results