我有一个公共页面，用户无法登录。所以我有一个网址，没有链接，你必须手动输入然后登录。
网址是多语言，所以它可以是“/ SV /帐户/登录”或“/ EN /帐户/登录”等等。我可以禁用此网址为所有语言编制索引吗？
答案 0 :(得分：2)
此网址可能会帮助您http://www.robotstxt.org/robotstxt.html。在您的情况下不会出现通配符排除，您必须在robot.txt中添加所有特定于语言的登录URL
<强>更新
您可以将Disallow: /folder/subfolder/或Disallow: /folder/放入robots.txt文件