我们的网站已翻译成大约15种语言，我们的编辑也会定期参与其中。
我们的网址构建如下：
SiteName.Company.com/ {LCID} / Folder1中/ FOLDER2 /
我们公司希望隐藏搜索引擎中的子文件夹/页面。
LCID可以是从EN-US到ZH-HANS的任何东西。我正在寻找一种解决方案，我们不必每次添加新语言时都更新机器人文件。
我可以制作通配符条目或过滤掉单个foldername而不管它的路径吗？
IE：companyinfo.nokia.com/en-us/aboutus/darknews/ 我希望谷歌抓住所有东西，但是黑暗新闻和下行（所以/ darknews / ELOPSellsOut或/ darknews / 3210revival）
这可能吗？
答案 0 :(得分：4)
您可以使用通配符执行此操作：
User-agent: *
Disallow: /*/darknews/
请注意，并非所有机器人都支持通配符。这适用于Googlebot和Bingbot，但它不适用于其他许多人。