标签： python django authentication web-crawler googlebot
我发现了几篇有关此事的帖子，但似乎无法直接回答我的案例。
我正在使用django allauth让用户在发布任何内容之前注册。但是，所有页面都对公众可见，并且不需要登录即可查看。
如何让google抓取网页而无需登录？
简单的站点地图是否有效？
我查看了第一次点击免费但是从我读到的内容只在登录后抓取第一页？或者我应该将IP列入白名单吗？
任何方向都会很棒，谢谢。