Question

好吧，我有点混淆这个一直在四处找不到任何答案所以我在这里。我希望阻止多个子目录（动态网址）

为例：

/virtual-news/itemlist/allo/
/online-news/itemlist/hi/
/blahblah-news/itemlist/goodbye/
/something-news/itemlist/allllo/

所以为了阻止蜘蛛索引任何包含/ itemlist /目录的url，我可以使用它吗？

Disallow: /*/itemlist/*

它会有意义吗？但我不确定，也无法找到有关此

的更多信息

Answer 1

如果机器人尚未对您网站上的内容编制索引，则阻止来自robots.txt的访问权限就可以了。如果他们已经将内容编入索引并且您希望将其删除，则不要阻止访问并返回404或410（来自https://youtu.be/G29Zt-UH_Ko）。