在我的网站上模拟爬虫

Question

我需要调试由asp.net编写的我的网络应用程序，以了解在为 Googlebot 等抓取工具呈现内容时它是如何运作的。我找到的第一件事是一些在线/离线工具，但没有一个可以传递 Request.Browser.IsCrawler 标志。

然后我尝试模拟添加 Googlebot UserAgent 的手工制作请求，但仍然没有机会。

Answer 1

我将 用户代理 设置为 /2.1（+ http://www.googlebot.com/bot.html） ，包括URI中的 _escaped_fragment _ ，并从抓取工具角度成功查看了该页面。