我正在尝试确定需要在robots.txt中处理多少个案例
robots.txt如何处理重定向的网址？
假设我的主页上有一个链接
<a href="https://example.com/disallow-1"> Disallowed link </a>
.htaccess规则可以永久重定向目标
Redirect 301 /disallow-1 /disallow-2
还有一个robots.txt字段
Disallow: /disallow-2
是否足以暗示该链接不会被爬网？
还是我需要涵盖两种情况？
Disallow: /disallow-1
Disallow: /disallow-2
如果我在/disallow-1的页面上使用/disallow-2作为规范，而不是重定向，怎么办？
<link rel="canonical" href="https://example.com/disallow-2" />