Robots.txt - 防止.html文件的索引

时间:2017-11-27 11:58:37

标签: robots.txt

我想阻止我们网站上* .html文件的索引 - 以便只清理网址。

所以我希望www.example.com/en/login已编入索引但不是www.example.com/en/login/index.html

目前我有:

User-agent: *
Disallow: /
Disallow: /**.html   - not working
Allow: /$
Allow: /*/login*

我知道我可以拒绝,例如Disallow: /*/login/index.html,但我的问题是我有一些我不想编入索引的.html文件 - 所以想知道是否有办法让他们全部禁止而不是单独进行?

0 个答案:

没有答案