如何修复抓取问题

时间:2015-04-22 06:19:16

标签: asp.net wordpress dns seo web-crawler

我在以下链接上的网站Crawler和XML Sitemap Generator工具上测试我的网站时发现了外部错误408: http://tools.seochat.com/tools/online-crawl-google-sitemap-generator/ 我的网站名称如下:www.MyWebsite.com
在此错误状态下,它会向我显示创建的链接,如www.MyWebsite.comhttp /,这会导致错误。我无法理解这个链接是如何创建的。它是一个Asp.net网站,也有一个wordpress博客。 谁能帮助我找出解决方案呢?

非常感谢提前。

1 个答案:

答案 0 :(得分:0)

外部408错误通常是由您的网站超时造成的。您知道任何可能导致您的网站超时的原因吗?另外,请确保Robot.txt文件中的抓取工具没有限制。