有时,在启动新的网络项目之前,我将网站/应用程序放在new.domain.com或beta.domain.com等子域名下。
这些网址仅供我的客户使用。因此,他们不会在搜索引擎上提交,也没有任何公开链接。
但是,我注意到,在某些情况下,这些子域名仍被Bing编入索引。这怎么可能?
Bing是否会抓取通用子域名,例如new,old,archive,beta,...? 或者在邮件中发送URL,在Office 365(我的客户使用)中获取并获取索引?
答案 0 :(得分:1)
用户可以从该搜索引擎安装工具栏。
防止这种情况的最佳方法是为子域中的所有页面添加无索引标记,甚至可以阻止使用robot.txt。