Question

我遇到与robots.txt文件相关的问题。

我有一个带有HTML着陆页的网站，可以将Access放入一个放在子文件夹中的wordpress博客。以下是结构示例：

HTTP /域/ index.html中
HTTP /域/博客/ indexblog.html

首先，我可能解决方法是将robots.txt文件放在/ blog文件夹中，但它不起作用，因为谷歌无法识别它。据我所知，robots.txt文件必须放在根文件夹中，如下所示：

HTTP /域/ robots.txt的

因为如果您这样放置它将无法被谷歌识别：

HTTP /域/博客/ robots.txt的

然后我想也许在robots.txt文件中包含完整路径就好了。所以这是wordpress的原始robots.txt文件：

User-agent:  *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /archives/
disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

这就是我通过将/ blog添加到路径来定义它的方式：

User-agent:  *
    # disallow all files in these directories
    Disallow: /blog/cgi-bin/
    Disallow: /blog/wp-admin/
    Disallow: /blog/archives/
    disallow: /blog/*?*
    Disallow: /blog/*?replytocom
    Disallow: /blog/wp-*
    Disallow: /blog/comments/feed/
    User-agent: Mediapartners-Google*
    Allow: /blog/
    User-agent: Googlebot-Image
    Allow: /blog/wp-content/uploads/

    User-agent: Adsbot-Google
    Allow: /blog/

    User-agent: Googlebot-Mobile
    Allow: /blog/

但是当我在google-webmastertools检查代码时，它被修改为以前的代码......

那么，那种情况的解决方案是什么？

谢谢你！

** ------编辑------ **

也许我的帖子有点令人困惑，这就是为什么没有人能给我答案的原因。所以我会重新提出这个问题......

我的网站在根文件夹中放置了一个简单的HTML着陆索引页面，然后在/ blog子文件夹中放置了一个wordpress。

我只需要知道我应该如何在robots.txt上指出wordpress中有一些子文件夹不能编入索引。

例如： / blog / wp-admin子文件夹...

在robots.txt文件中指明此路径的正确方法是什么？

谢谢！

如何为放置在子目录

0 个答案: