甚至在指定URL后，为什么在robot.txt文件中出错？

Question

在robot.txt文件中，我放了一个网址/custompages/*，谷歌机器人不应该抓取与“/ custompages /”匹配的网页。

但是当我查看网站站长时，我仍然可以看到来自这些链接的错误消息。

User-agent: *        
Disallow: /search/application/*
Disallow: /custompages/*

上面的

是我的robot.txt文件。

在网站站长上我可以看到Googlebot couldn't access the contents of this URL because the server had an internal error when trying to process the request. These errors tend to be with the server itself, not with the request. 用于URL

custompages/savesearch?alid=9161

可能发生了错误......？

Answer 1

Disallow: /search/application/
Disallow: /custompages/

足够了，不需要*符号。