WayBack Machine停止归档我的网站,我的robots.txt有什么问题吗?

时间:2012-03-25 02:05:58

标签: robots.txt

http://wayback.archive.org/web/ * / linksku.com

我的网站最后一次存档是在去年7月份。几个星期前,我意识到我的robots.txt文件有错误,我修复了它。但是,我的网站仍然没有被抓取。怎么了?

我的robots.txt文件位于:http://linksku.com/robots.txt

2 个答案:

答案 0 :(得分:0)

Wayback Machine的结果可能会显着延迟 - 有时会延迟六个月或更长时间。

答案 1 :(得分:-1)

该链接适用于旧服务。新的测试版服务会存档您的网站:

http://web-beta.archive.org/web/ * / HTTP://linksku.com