Question

Ip: 67.195.112.247 
Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp) 

System.Web.HttpException: The file '/1338.aspx' does not exist.

  知识产权：67.195.112.247
  主持人：b3091104.crawl.yahoo.net
  国家：美国

Answer 1

尝试在开放网络上搜索“http://yoururl/1138.aspx”，有人可能创建了此链接，雅虎正在尝试关注它。

Answer 2

事实证明，Slurp索引了我用于旧日志分析器项目的示例日志文件

https://bitbucket.org/mrshrinkray/projects/src/fa550b822a52/Statmagic/Statmagic.Testapp/ExampleLogs/ex071110.log

2007-11-10 19:44:35 W3SVC421807 WEB150 216.177.83.9 GET /1338.aspx - 80 - 66.249.70.48 HTTP / 1.1 Mozilla / 5.0 +（兼容; + Googlebot / 2.1; ++ http：// www.google.com/bot.html）

日志文件记录了Googlebot请求URL，我不知道Googlebot是如何得到不存在的网址的，但是Slurp喜欢模仿Googlebot。

为何雅虎！请求/1338.aspx的Slurp？

2 个答案: