标签: regex search web-crawler seo robots.txt
在robots.txt(机器人排除标准)中,我需要插入以下命令:
“用xyz隐藏所有内容” 不允许使用任何URL,无论其在任何位置(在URL中的任何内容之前或之后)都包含xyz。
xyz
我想这比使用通配符(例如disallow: /xyz*a)要激进一步,但也许我错了。
disallow: /xyz*a
在当前版本的机器人排除标准中,有没有办法做到这一点?