robots.txt disallow / variable_dir_name /目录

时间:2012-10-02 10:28:18

标签: directory robots.txt noindex

我需要通过robots.txt

禁止/ variable_dir_name /目录

我用:

禁止:* /目录 Noindex:* /目录

是正确的吗?

2 个答案:

答案 0 :(得分:0)

以下在您的robots.txt中运行:

User-Agent: *
Disallow: /*/directory

Google的进一步阅读:Block or remove pages using a robots.txt file

答案 1 :(得分:0)

确实,GoogleBot允许在Robots.txt中使用它们:

  • Noindex
  • Nofollow
  • 爬行延迟

但是在GoogleBlog-News上看到的它们将从2019年9月开始不再支持那些(已使用0,001%)命令。因此,您应该只在页面上再使用元标记,以确保将来安全。

您真正应该做的是:

  • 通过robots.txt和
  • 禁止
  • Noindex已经通过Google Search Console索引了文档