PhantomJS webdriver - Python - 移动用户代理不会在某些网站上加载图像

时间:2017-05-22 21:46:23

标签: python selenium-webdriver web-scraping phantomjs

我正在使用Python和PhantomJS来获取网站的屏幕截图,这似乎与这个用户代理一起使用:

@XmlRootElement(name="ROOT")
public class Root {

    @XmlElement(name="CHILD1")
    private String child1;

    @XmlElement(name="CHILD2")
    private String child2;
}

但是,我希望页面采用移动格式,因此我尝试使用:

user_agent = ("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.111 Safari/537.36")

user_agent = ("Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.3 (KHTML, like Gecko) Version/8.0 Mobile/12A4345d Safari/600.1.4")

...这些适用于大多数网站,但有些网站不会加载图片。例如,http://www.cnn.comhttp://www.washingtonpost.com加载图片,但https://www.wsj.com通常不加载,http://www.foxnews.com从不使用移动用户代理加载图片。

知道我总是加载图片可以做些什么改变吗?我已经尝试等待页面加载。以下是更多代码:

user_agent = ("Mozilla/5.0 (iPhone; CPU iPhone OS 7_0_2 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A4449d Safari/9537.53")

0 个答案:

没有答案