标签: web web-scraping googlebot
我只是想知道,因为像纽约时报这样的网站对你可以阅读的文章数量有限制(我想通过IP或会话cookie /两者的组合),怎么办? GoogleBot可以绕过他们的页面吗?