标签： robots.txt
我需要让所有代理访问我的所有网站及其子目录，但需要访问两个目录：
User-agent: * Disallow: /disable_dir_1/ Disallow: /disable_dir_2/
这是实现这个目标的正确方法吗？
答案 0 :(得分：1)
有自动执行此操作的工具： robots.txt generator
无论如何，您的方法还可以，但我强烈建议您遵循Google的建议： Google robots.txt explanation