我正在使用Scrapy一个月。我能够根据管道中给出的关键字抓取并抓取几个网站（事实上我已经抓取了900个网站）。现在，问题是当我们遇到javapages（ajax）时，scrapy不会刮掉。我正在尝试使用以下代码selenium code for scraping ajax pages using scrapy 并进行适当的更改以刮取ajax页面
你们有没有任何好主意使用scrapy抓取javapages
第二个问题，我面对的是scrapy并没有刮到登录页面答案 0 :(得分：0)
首先监控已使用ajax发送的请求（使用fiddler用于此目的或使用firefox firebug），然后在scrapy中生成类似的请求，它将带来响应。
我无法理解你的意思是“scrapy doesnt scrape login page”： 这是否意味着您无法删除需要您登录的页面或登录页面本身