在我的网站上http://www.mustseeindia.com/places-around-bangalore“”是有效的网址。
在抓取时，MSN bot会在其中附加一个字符串，并导致抓取错误。
MSN bot附加的字符串 - “＆amp; layout = button_count＆amp; show_faces = false＆amp; width = 80;＆amp; action = like＆amp; font＆amp; colorscheme = light＆amp; height = 25”
MSN bot生成的错误网址 - http://www.mustseeindia.com/places-around-bangalore&layout=button_count&show_faces=false&width=80;&action=like&font&colorscheme=light&height=25
这会阻止我的网站上的1000个网页被MSN抓取，我该如何处理？
答案 0 :(得分：1)
这是基本的URL操作，我在你的网站上看不到任何棘手的问题（虽然markup is full of errors），所以我怀疑这不是一个真正的msnbot，而是一些蹩脚的spambot / harvester，它被隐藏为msnbot。