标签： asp.net search-engine web-crawler
我有一个网站，其中添加了两个域名。这两个域都指向网站的根目录。是否可以更改robots.txt以便其中一个域不会被抓取，而另一个域仍然可以？
答案 0 :(得分：1)
您应该对首选域执行301重定向，这会告诉机器人您要抓取的网址。
例如
www.domain1.com
应该301重定向到
www.domain2.com
类似地
www.domain1.com/Contact-Us/
www.domain2.com/Contact-Us/