Question

我正在使用普通模式制作网站并弃用浏览器模式，如果有人进入www.mysite.com，他的用户代理会通过以下方式进行：

            // Mobile
            if (Request.Browser.IsMobileDevice) return Redirect("/m");

            // Tabļet
            if (Request.UserAgent.Contains("BlackBerry") || (Request.UserAgent.Contains("iPhone") || (Request.UserAgent.Contains("Android")))) return Redirect("/t");

            // Deprecated
            if (Request.Browser.Browser == "IE" && Convert.ToInt32(Request.Browser.Version) < 9) return Redirect("/h");

            // Normaļ
            return View();

问题：如果我限制某些浏览器访问我的主视图，它是否也会限制对网络抓取工具的访问？

Answer 1

取决于抓取工具。通常所有主要的抓取工具，如谷歌等，只需尊重robots.txt和休息都应该是可抓取的。除非有人编写了一个编码较小的抓取工具，否则它不会影响您的网站抓取。您还可以尝试使用nutch开源webcrawler抓取您自己的网站。

Answer 2

我写了一个简单的网络抓取工具来抓取麦当劳的网站。爬虫每次抓取的内容都是移动网页。因此，对于简单的抓取工具，您的设置会限制访问。但是主要的网络抓取工具没有这个问题。

浏览器限制会影响网络抓取工具吗？

2 个答案: