如何防止搜索引擎对Azure上托管的开发阶段网站进行索引

时间:2018-08-30 14:13:29

标签: asp.net azure azure-web-app-service

特定于托管在Microsoft Azure上的Web Apps,有没有一种方法可以防止mydomain.azurewebsites.net URL被搜索引擎索引?我打算将Web应用程序用作登台网站,并且不希望它被意外索引。

我知道我可以将所有项目都设置为robots.txt的{​​{1}}文件添加到项目中,但是我不想将它意外地发布到生产站点(或者,也可以忘记发布)到登台网站)。

Azure中是否有设置可以防止对“ .azurewebsites.net”域建立索引?或者,如果no-index文件是唯一的方法,那么如何使用robots.txt来组织有序的文件,以便将正确的robots.txt文件发布到暂存和生产中。

3 个答案:

答案 0 :(得分:2)

您可以一次将robots.txt发布到登台服务器。这可以通过FTP或您的SCM站点完成。发布此文件后,除非您在Web发布设置中选择“在目标位置删除其他文件”,否则Web发布将不会删除服务器上的其他文件(包括robots.txt文件)。

因此,除非您将robots.txt文件删除,否则它将永久保留在您的登台服务器上。然后,您无需在项目或解决方案中包含robots.txt,也不必冒险将其意外发布到生产环境中。

答案 1 :(得分:2)

基于主机名和请求IP限制访问

除非您需要使暂存槽可用于各种动态IP,否则您可以考虑使用URL Rewrite module并将规则添加到Web应用程序配置中以禁止流量,但一些已知IP除外,但要使这些规则以与登台主机(mydomain.azurewebsites.net)相匹配的HOST标头为条件,因此它们决不能应用于生产主机名。

details in the question here显示了类似的设置。

答案 2 :(得分:1)

另一个选项是从App Service设置中的“身份验证/授权”选项卡针对开发和登台环境启用对Azure Active Directory的身份验证。

通过这种方式,用户将被迫登录以访问那些应用。

文档:https://docs.microsoft.com/en-us/azure/app-service/app-service-authentication-overview

https://docs.microsoft.com/en-us/azure/app-service/app-service-mobile-how-to-configure-active-directory-authentication