Robots.txt禁止使用正则表达式的路径

Question

robots.txt是否接受正则表达式？ 我有很多URL个格式：

https://example.com/view/99/title-sample-text
ID ----------------------^
Title -----------------------------^

我用过这个：

Disallow: /view

但看起来这样做不起作用，因为google索引了更多页面。所以我想用正则表达式做这个，像这样：

Disallow: /view/([0-9]+)/([^/]*)

但这是正确的格式还是有效robots.txt？

Answer 1

您可以使用通配符...

User-agent: *
disallow: /view/*

请参阅https://webmasters.stackexchange.com/questions/72722/can-we-use-regex-in-robots-txt-file-to-block-urls

希望这有帮助。