最近，我的网站在自动生成的菜单链接返回未找到的网页时遇到了很多软错误。但它最终将填充内容超时，所以我想暂时禁止搜索引擎抓取这些页面。
（例如PSP＆gt; Kingdom Hearts＆gt; Cheats。它将返回“抱歉没有作弊可用”的消息。）
你们认为这会有用吗？
编辑：我已经从网站上删除了这些链接，但搜索引擎已经被抓取并返回了软404错误。
答案 0 :(得分：5)
...从自动生成的菜单链接返回未找到的页面。但它最终会加满内容超时
我不会显示导致不存在页面的链接。这些页面将“最终加满内容超时”并不重要。
除了搜索引擎优化之外，这也是一种糟糕的用户体验：成像浏览网页，并且您点击的每三个链接都会返回一个404页面，上面写着“内容最终会在以后填充”。如果您没有内容，请不要显示指向它的链接。
答案 1 :(得分：1)
这不是最佳做法，但您可能希望使用重定向到302重定向：
HTTP响应状态代码302 Found是执行重定向的常用方式。具有此状态代码的HTTP响应还将在Location头字段
中提供URL如果它是永久性的并且您不需要动态解决方案，请使用：
您可以使用robots.txt并禁止搜索引擎进入这些网址，直到您向其添加内容，然后在网页准备就绪时将其打开。
在根目录/robots.text中创建robots.txt 并填写下面的
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/