用户代理问题导致无法读取的标签html源数据

时间:2019-05-11 02:45:22

标签: html google-chrome selenium-webdriver user-agent

在Chrome中打开following URL code inspection会显示以下消息:

  

拒绝设置不安全的标头“ User-Agent”

该网站背后的代码如下:

<div dir="auto" class="rn-13yce4e rn-fnigne rn-ndvcnb rn-gxnn5r rn-deolkf rn-cme181 rn-1471scf rn-14xgk7a rn-1b43r93 rn-o11vmf rn-ebii48 rn-vw2c0b rn-t9a87b rn-1mnahxq rn-61z16t rn-p1pxzi rn-11wrixw rn-wk8lta rn-9aemit rn-1mdbw0j rn-gy4na3 rn-bauka4 rn-q42fyq rn-qvutc0">24 Count</div>

在Internet Explorer中打开相同的链接似乎可以正确呈现标签,例如:gbcvs-c-addToCart__inner。

硒用于读取页面,并且用于Chrome。有没有一种方法可以设置用户代理,使其知道该程序将在Linux中运行?

我没有运气就尝试了以下方法。

options = webdriver.ChromeOptions()
options.add_argument('--user-agent="Mozilla/5.0 (Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko"')

我想继续使用chrome驱动程序。

1 个答案:

答案 0 :(得分:0)

没有通用的方法,但是对于chrome,您可以使用this one之类的插件来伪造您的用户代理标头。当使用Selenium中的chrome时,您可以load that extension并使用它来更改所有请求的标头。