Question

虚拟robots.txt以某种方式阻止了Google搜索网站http://www.domda.se。我不希望这种情况发生。

该网站使用Wordpress制作，并在完整性设置中为搜索引擎打开（当然;）

我试过了：

关闭并重新启用隐私设置/搜索引擎限额。
关闭所有插件。
将完全允许的robots.txt添加到根目录。
使用机器人插件编写robots.txt中的内容
将主题更改为Twentyeleven并再次返回
使用ftp重置插件文件夹

现在我想知道是否有人可以帮助我，因为我的PHP知识如此之低让我脸红。我现在想到的是试图通过查看functions.php来解决问题。

在wp-includes / functions.php中执行代码的机器人说：

function do_robots() {
    header( 'Content-Type: text/plain; charset=utf-8' );

    do_action( 'do_robotstxt' );

    $output = "User-agent: *\n";
    $public = get_option( 'blog_public' );
    if ( '0' == $public ) {
        $output .= "Disallow: /\n";
    } else {
        $site_url = parse_url( site_url() );
        $path = ( !empty( $site_url['path'] ) ) ? $site_url['path'] : '';
        $output .= "Disallow: $path/wp-admin/\n";
        $output .= "Disallow: $path/wp-includes/\n";
    }

    echo apply_filters('robots_txt', $output, $public);
}

也许这段代码完全没问题。而我添加一个真正的robots.txt会推翻虚拟的，但我真的不知道该怎么做。

我希望有人可以提供帮助。

Answer 1

我认为你需要首先看一下开场陈述是否完全正确。

您可以直接在网络浏览器中查看robots.txt。

如果您访问http://www.domda.se/robots.txt，则会获得

用户代理：*

禁止：/ wpsystem / wp-admin /

禁止：/ wpsystem / wp-includes /

阻止wpsystem文件中的所有漫游器。

它不会阻止Google进入主站点。

但是，谷歌搜索site:http://www.domda.se确实拉了

由于此网站的robots.txt - 了解详情
，因此无法获得此结果的说明

由于您做了很多更改，您似乎曾经拥有一个阻止Google的robots.txt，而现在却没有。

robots.txt的重点是它是webcrawler的信息。这些检查站点定期检查，并比其他站点更频繁地检查一些站点。您的网站可能需要一段时间才会被Google的机器人重新访问，并且在此次访问中抓取网页之前的一段时间会显示在Google搜索中。

您应该使用Google网站管理员工具（它是免费的）来更好地了解这一主题，并为Google提供一个轻推功能。

Robots.txt正在阻止来自谷歌的wordpress网站

1 个答案: