使用scrapy和chrome时出现500错误

Question

我正试图抓住https://experiment.com/discover网站。当我去检查页面时（特别是无限滚动按钮，查看更多项目）。我明白了

当我把它放入我的铬合金时，即使我得到了

如何通过scrapy解决这个问题。我希望能够绕过这个问题，所以我可以使用scrapy刮掉网站。我也不想使用硒。