robots.txt“隐藏任何在某处具有**的网址

时间:2019-07-12 22:19:17

标签: regex search web-crawler seo robots.txt

在robots.txt(机器人排除标准)中,我需要插入以下命令:

“用xyz隐藏所有内容”
不允许使用任何URL,无论其在任何位置(在URL中的任何内容之前或之后)都包含xyz

我想这比使用通配符(例如disallow: /xyz*a)要激进一步,但也许我错了。

在当前版本的机器人排除标准中,有没有办法做到这一点?

0 个答案:

没有答案