在userAgent访问我的url后,robots.txt中不允许这样做。但谷歌机器人访问我的页面。
url: https://www.example.com/page?param=1
的robots.txt
User-agent: *
Allow: /
Disallow: /page
的userAgent
"userAgent":"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"