使用代理时不执行Javascript

时间:2017-02-04 07:57:20

标签: scrapy web-crawler scrapy-splash

我正在使用scrapy_splash来抓取需要js来检索正确内容的网页。

当我在没有代理设置的情况下使用SplashRequest时,一切都很好,但是当我放入代理设置时,javascript将无法渲染,给我prejavascript html内容,但没有我需要的数据。

有谁知道如何解决这个问题?我确信代理服务器ip不会被列入黑名单。

2 个答案:

答案 0 :(得分:0)

我无法评论,

但简短的回答是因为您使用的代理不允许运行javascript代码。

请尝试另一个允许您运行javascript代码的代理

答案 1 :(得分:0)

事实证明它是一个缓慢的代理人。我不得不等待10来获得结果。谢谢你的帮助。