我通过http://www.xml-sitemaps.com运行了我的网站,我知道我的网站有大约200页,这个生成器在500页之后最大化,而其他生成器一直在寻找成千上万的URL(我必须停止抓取,因为它似乎永远不会结束。)
这是因为它找到了这样的URL:
当前页面:blog / index.php / barmah-hats-the-sensible-choice / www.website.co.uk / blog / index.php / barmah-hats-the-great-autralian-hat / www。 website.co.uk/blog/index.php/barmah-hats-the-great-autralian-hat/www.website.co.uk/blog/index.php/barmah-hats-the-great-autralian-hat/ www.website.co.uk/blog/index.php/barmah-hats-the-great-autralian-hat/www.website.co.uk/blog/index.php/barmah-hats-the-great-autralian-帽子/ www.website.co.uk /博客/ index.php的/ barmah-帽子最伟大-autralian帽/
显然页面只是http://www.website.com/blog/index.php/barmah-hats-the-sensible-choice/
似乎将另一篇文章网址附加到结尾
这是发电机的故障,还是我的htaccess规则有问题?我没有任何线索,任何帮助都将不胜感激。
我应该注意,这个问题只发生在wordpress安装的/ blog /目录中。
我担心这些网页会开始索引。
干杯
答案 0 :(得分:0)
修正了它,我在博客页面上有一个链接指向“www.website.com”而不是“http://www.website.com”所以它指向/www.website.com思考这是一个目录。