我在AWS上设置了负载均衡器,并且'启用了应用程序生成的Cookie粘性'(因为您可以登录到站点的某些部分。)
我需要知道google bot是否会忽略这个cookie,还是会被卡在一台服务器上。
答案 0 :(得分:1)
如果JavaScript,Cookie,会话ID,框架,DHTML或Macromedia Flash等功能阻止您在文本浏览器中看到整个网站,那么蜘蛛可能无法抓取它。
网络上的共识是 GoogleBot无法处理Cookie 。
我也很难理解为什么此类网络抓取工具会想要处理Cookie。