标签: .htaccess
我有一个带有大量索引页面的域名,我将此作为在线测试域使用。我知道我应该在内联网或某种程度上对其进行测试,但谷歌及时将一些不再相关的网站编入索引。
是否有人知道如何从大多数搜索引擎中获取未编入索引的域名?
答案 0 :(得分:1)
将robots.txt file放在网页的根目录中。它可用于控制搜索引擎蜘蛛对您的内容的访问量。您可以逐个目录地指定站点的某些区域以限制索引。
答案 1 :(得分:1)
你可以做几件事。
答案 2 :(得分:0)