为什么循环浏览url只会获得页面源的一半?蟒蛇

时间:2019-08-27 13:22:19

标签: python selenium selenium-webdriver

我正在尝试为某些公司名称收集一些LinkedIn公开数据。 linkedin_list_of_urls是我从Google抓取的LinkedIn URL列表(其中有96个)。当我尝试将页面源放入列表source_code_lists中时,它仅返回46个页面源。这正常吗? 我也是编码的新手,所以任何改进代码的技巧都将不胜感激。

source_code_lists = []
for linkedin_list_of_url in linkedin_list_of_urls: 
    driver.get(linkedin_list_of_url)
    sleep(2.5)
    about_in_button = driver.find_element_by_link_text("About")
    about_in_button.click()
    sleep(1.0)
    sel = Selector(text=driver.page_source)
    sleep(1.0)
    source_code_lists.append(sel)
driver.quit()

len(linkedin_list_of_urls) 
len(source_code_lists)

len(linkedin_list_of_urls) = 92
len(source_code_lists) = 46

我如何获得len(source_code_lists) = 92

0 个答案:

没有答案