我应该在robots.txt中输入登录后页面吗

Question

在我们的网站中，只有登录后才能访问某些页面...

禁止在robots.txt中设置这些登录后页面是否很好？

真正从Google搜索答案，但无济于事...

Answer 1

通常，我会听从本文的建议：

  

总而言之，请始终将登录页面添加到漫游器排除协议文件中，否则最终您将：

     

1-牺牲网站中宝贵的“搜索引擎爬网时间”。

     

2-花费不必要的带宽和服务器资源。

     

3-甚至可能阻止爬网程序访问您的内容。

https://blogs.msdn.microsoft.com/carlosag/2009/07/06/seo-tip-beware-of-the-login-pages-add-them-to-robots-exclusion/

类似地：

https://webmasters.stackexchange.com/questions/86395/using-robots-txt-to-block-sessionid-urls

理想情况下，您可以通过某种正则表达式轻松排除所有这些页面。例如，如果这些页面的所有网址都以/my-account/开头，那么您应该可以这样做：

disallow: /my-account/*