使用robots.txt阻止来自搜索引擎的网址100

Question

我的网站上有大约100页，我不想在谷歌中编入索引...有没有办法用robots.txt阻止它...编辑每个页面都很烦人并添加noindex元标记....

我想阻止的所有网址都像......

www.example.com/index-01.html

www.example.com/index-02.html

www.example.com/index-03.html

www.example.com/index-04.html

。 。

www.example.com/index-100.html

不确定但会添加类似以下作品吗？

User-Agent: *
Disallow: /index-*.html

Answer 1

Yes it will work using wildcard

Ref : "https://geoffkenyon.com/how-to-use-wildcards-robots-txt"