我想阻止我们网站上* .html文件的索引 - 以便只清理网址。
所以我希望www.example.com/en/login
已编入索引但不是www.example.com/en/login/index.html
目前我有:
User-agent: *
Disallow: /
Disallow: /**.html - not working
Allow: /$
Allow: /*/login*
我知道我可以拒绝,例如Disallow: /*/login/index.html
,但我的问题是我有一些我不想编入索引的.html文件 - 所以想知道是否有办法让他们全部禁止而不是单独进行?