为我的robot.txt的某些网址创建正则表达式

时间:2019-05-23 07:33:40

标签: regex url regex-group

我有五个网址格式,我想为其创建一些正则表达式,以便可以将其放在我的robot.txt中以进行noindexing。

对于这两个页面,我需要两个不同的正则表达式 网址格式如下: https:// example.com/[varying-data]-addiction-treatmnet https:// example.com/[varying-data]-addiction-treatmnet/谢谢你

1 个答案:

答案 0 :(得分:0)

由于每次都有相同的url,但只有一个不同的部分,因此可以使用简单的正则表达式,例如

https:\/\/example.com\/.*-addiction-treatmnet

https:\/\/example.com\/.*-addiction-treatmnet/thank-you

或作为列表:

(https:\/\/example.com\/.*-addiction-treatmnet)|(https:\/\/example.com\/.*-addiction-treatmnet/thank-you)