我正在使用scrapy_splash来抓取需要js来检索正确内容的网页。
当我在没有代理设置的情况下使用SplashRequest时,一切都很好,但是当我放入代理设置时,javascript将无法渲染,给我prejavascript html内容,但没有我需要的数据。
有谁知道如何解决这个问题?我确信代理服务器ip不会被列入黑名单。
答案 0 :(得分:0)
我无法评论,
但简短的回答是因为您使用的代理不允许运行javascript代码。
请尝试另一个允许您运行javascript代码的代理
答案 1 :(得分:0)