有没有办法将Selenium有效地集成到Scrapy中以获得它的页面渲染功能（为了生成屏幕截图）？
我已经看到很多解决方案只是在 Scrapy已经处理完请求之后在WebDriver 上抛出一个Scrapy请求/响应URL，然后就可以解决这个问题了。这会产生两倍的请求，在许多方面失败（需要登录的站点，具有动态或伪随机内容的站点等），并使许多扩展/中间件无效。
有没有＆＃34;好＆＃34;让两个人一起工作的方式？是否有更好的方法来生成我抓取的内容的屏幕截图？
答案 0 :(得分：3)
使用Scrapy的Downloader Middleware。有关一个简单示例，请参阅我在另一个问题上的答案：https://stackoverflow.com/a/31186730/639806