网站在PHP中创建多个重复页面

Question

问题出在我的网站上。我注意到Google正在索引许多错误页面，这些页面甚至无法在网站上找到。我认为这是PHP脚本错误或htaccess文件错误。这是URL的示例。

http://domain.com/articles/sliding-wardrobe-doors:-a-simple-yet-versatile-design.html/sliding-wardrobe-doors:-a-simple-yet-versatile-design.html

如果仔细观察，在.html扩展后，会有第二条路径继续显示该网址。此外，当我在浏览器中打开页面时，它会完美浏览。它使我的网站网址重复，因为Google抓取工具无法检测到错误。

Answer 1

您必须创建robots.txt文件，以避免抓取工具检测到现有网页。

请参阅How to stop Search Engines from crawling your Website