Question

我们有很多年前在php开发的网站。我们现在使用asp.net重新开发了网站。我已经发布了网站，现在一切正常。

最近，我看到有几个请求用旧网址（php）访问该网站。我确实将站点地图提交给了所有主要的搜索引擎，但是对于旧网址的请求仍然每隔几周就会出现这种情况。

当我检查bing网站管理员工具时，我的域文件夹结构仍显示php文件夹和文件alomg与新的asp.net文件夹/文件。因此我假设每当蜘蛛机器人抓取我的网站时，所有这些文件都会被点击并记录错误。

我的问题是，为什么旧文件在文件系统中没有实际出现时仍然显示（在IIS上托管它们）并且php文件夹甚至不存在于此处。当日志文件不必要地增长时，如何清理域并解决此问题？

Answer 1

我也注意到Bing似乎很长时间都会记住这些页面，即使它们给出了404或301 HTTP结果。这不是因为Bing记得那些在搜索结果中显示的页面。

404错误是您最不担心的问题。很多机器人将来到您的网站并请求不存在的页面。

Answer 2

当您想要将网页从example.php更改为example.aspx时，正确的方式＆＃34;为了不丢失抓取工具上的索引，并且不丢失用户书签，就是在要更改位置的每个页面上永久重定向。

对于php将是：

<?php
 header("HTTP/1.1 301 Moved Permanently");
 header("Location: http://example.org/example.aspx");
?>

因此，您需要在每个旧的PHP页面上添加它，并将它们移动到新位置。

Crawlers将保留旧链接，即使它们不在索引上，即使它们不存在，它们也会长时间查找它们。当他们认为这不是一个网络错误，他们永远都会消失，他们会删除它们，直到那时你会继续看到它们。