标签： robots.txt duplicate-removal
寻找与robots.txt有关的推荐，我们不想在排除整个网站时出错
以下命令是否适合排除所有在url中编码的反斜杠的网址
Disallow: /*\
它是否仅排除网址网址路径中的反斜杠或％22的网址。有些网页已使用反斜杠编制索引，并在Google网站管理员中重复使用。
以上命令是否以任何方式阻止或阻止网站搜索引擎，除了反斜杠的网址
答案 0 :(得分：0)
要进行更新，我们通过htaccess应用301重定向而不是通过robots.txt阻止来解决它