谷歌机器人访问不允许的页面

时间:2017-08-18 06:33:45

标签: robots.txt googlebot

在userAgent访问我的url后,robots.txt中不允许这样做。但谷歌机器人访问我的页面。

url: https://www.example.com/page?param=1

的robots.txt

User-agent: *
Allow: /
Disallow: /page

的userAgent

"userAgent":"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 

0 个答案:

没有答案