Selenium不会加载整个页面

时间:2018-04-18 17:19:49

标签: python selenium screen-scraping

我试图抓住这个网站:

https://www.lobstersnowboards.com/shop/eiki-pro-model--459

我想要获得的其中一个领域是可用的模型:

enter image description here

但是这部分没有被硒加载:

enter image description here

我曾尝试使用firefox和chrome,获得相同的结果。

1 个答案:

答案 0 :(得分:1)

因此,它不起作用的问题与Selenium无关。

这是因为本地化。正如您在顶部栏REST OF THE WORLD中看到的那样,您不在United States,它应该向您显示美国价格

下面的脚本显示了它的工作原理

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.lobstersnowboards.com/shop/eiki-pro-model--459")
driver.find_element_by_css_selector("button[title='Rest of the World'] span.caret").click()
driver.find_element_by_xpath("//li[.='United States']").click()
import time
time.sleep(4)
driver.find_element_by_css_selector("div.options [title='Select'] span.caret").click()
elems = driver.find_elements_by_css_selector("div.options ul > li a span")
for elem in elems:
    print(elem.text.strip())

我使用过脏快速睡眠,你不应该这样,但这只是演示

Output

以下是chrome中的实际页面

Select Options

稍后会影响您的事情,但不会影响Chrome 65

  

2017年1月19日,mozilla.dev.security.policy新闻组的公开发布引起了对赛门铁克公司PKI发布的一系列有问题的网站身份验证证书的关注。赛门铁克的PKI业务运营着一系列各种品牌的证书颁发机构,包括Thawte,VeriSign,Equifax,GeoTrust和RapidSSL,它们颁发了许多不符合行业开发的CA /浏览器论坛基线要求的证书。在随后的调查中,据透露,赛门铁克已委托多个组织在没有适当或必要的监督的情况下颁发证书,并且已经了解这些组织的安全缺陷已有一段时间了。

来自:https://security.googleblog.com/2017/09/chromes-plan-to-distrust-symantec.html

  

用于从https://www.lobstersnowboards.com加载资源的SSL证书将在M66中不受信任。一旦不信任,将阻止用户加载这些资源。有关详细信息,请参阅https://g.co/chrome/symantecpkicerts

这是Chrome 65中显示的错误。