Scrapy认证爬行

Question

我尝试使用Scrapy抓取WackoPicko的网页，并且一直停留在此页面http://localhost/pictures/view.php?picid=3，下面有一个评论框。

我尝试过只使用一个cookiejar来确保我已经过身份验证的会话在我登录后传递到所有链接，并且已经调整了大多数设置，包括don_redirect meta。

DEBUG: Sending cookies to: <GET https://app1.com/pictures/view.php?picid=12>
Cookie: PHPSESSID=4kohgvdbloritctck7ih13pir0
DEBUG: Redirecting (303) to <GET https://app1.com/users/login.php> from <GET https://app1.com/pictures/view.php?picid=12>

我不会从view.php获取评论表单。 任何帮助表示赞赏。感谢

Answer 1

好吧，scrapy文档的登录工作正常。这只是一个小的配置错误与cookie罐。