标签： robots.txt
我认为我正在做所有正确的事情，但是Google似乎仍然会像下面这样访问这些页面，我可以看到robots.txt可以访问。日志显示
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html
我如何阻止机器人！？
/feed/?id=example
我的robots.txt文件
User-agent: Googlebot Disallow: /feed/