Question

它基于MVC 3 + Razor，现在没有为该网站创建DNS，只是公共IP。由于对谷歌是否以及如何处理IP网站的蜘蛛缺乏了解，我们感到头疼，发现我们无法在谷歌获得任何我们的公共IP搜索结果。有人坚持认为这是因为MVC 3无法被主流搜索引擎索引。坦率地说，这听起来对我来说是个大笑话，google如何处理AJAX网站却无法抓取MVC网站？我简直不敢相信。

现在我想解决并说服他们MVC 3没有我们遇到的问题，并以适当的方式解决这个问题。

我还发现，如果我们注册公共IP站点，将来如果它指向DNS，谷歌将考虑在DNS中搜索的相同内容，其排名低于首个站点 - 公共IP。

BTW，我尝试使用Microsoft Search Server来抓取我们的MVC网站，它运行良好。

是否有任何文章可以帮助我们，

使公共IP网站可以在谷歌中抓取。机器人可以帮助我们吗？
说服团队，MVC 3不是推动我们处于这种状况的根本原因。

感谢。

Answer 1

“有人坚持认为这是因为MVC 3无法被主流搜索引擎索引。坦率地说，这听起来对我来说是个大笑话......”

坦率地说，你是对的！这是个大笑话！要确保Google抓取您的网站，您需要执行以下两项操作之一：

从其他热门网站链接到您的网站（即使它是公共IP）或者
Tell Google to crawl your web site.

选项＃1将最终导致您的网站被抓取（在某个未确定的时间点），而选项＃2将导致您的网站在不久的将来被安排抓取。

MVC3几乎与您的网站抓取方式有关。假设您的MVC3项目中有一个静态HTML页面：

<html>
<head></head>
<body>
    Hello! This is my ENTIRE WEB SITE! And Google will see it the same way regardless if I have an MVC project or a static HTML page!
</body>
</html>

Answer 2

我还发现，如果我们注册了公共IP站点，将来如果是的话指向DNS，谷歌会考虑在DNS中抓取相同的内容排名低于第一名即将到来的网站 - 公共IP。

这没有问题。当时间到了，你可以用HTTP 301 Moved Permanently回复每个寻址IP的请求。将响应标题中的Location设置为新地址，Google会识别您已移动该网站。

因此，Google会将所有收集的数据重新发送到新位置。然而，他们可能并将调整一些事情。但这就是谷歌推荐的方式...... （http://www.google.com/support/webmasters/bin/answer.py?answer=83105）

Answer 3

您好，我只想根据自己的经验提供一些意见。在Google Web Master Tools中处理Googles抓取工具（bot fetch）时，请确保主页面（索引，默认或mvc主控制器甚至全局asax和basecontroller）都不能在任何时候返回null值。这将使谷歌机器人返回错误而不是获取页面。

主流搜索引擎无法抓取MVC网站？

3 个答案: