我正在尝试为某些公司名称收集一些LinkedIn公开数据。 linkedin_list_of_urls是我从Google抓取的LinkedIn URL列表(其中有96个)。当我尝试将页面源放入列表source_code_lists中时,它仅返回46个页面源。这正常吗? 我也是编码的新手,所以任何改进代码的技巧都将不胜感激。
source_code_lists = []
for linkedin_list_of_url in linkedin_list_of_urls:
driver.get(linkedin_list_of_url)
sleep(2.5)
about_in_button = driver.find_element_by_link_text("About")
about_in_button.click()
sleep(1.0)
sel = Selector(text=driver.page_source)
sleep(1.0)
source_code_lists.append(sel)
driver.quit()
len(linkedin_list_of_urls)
len(source_code_lists)
len(linkedin_list_of_urls) = 92
len(source_code_lists) = 46
我如何获得len(source_code_lists) = 92
?