我正试图刮掉Quora的一些元素。当我运行以下代码时,浏览器会正确打开并转到正确的页面(需要Quora帐户),但是我搜索的任何内容都会返回一个空列表。例如,Selenium找不到单个链接('a'标记)。然而,当我探索Selenium打开的页面的DOM时,我确实发现了很多'a'标签,'div'标签,我正在寻找的类等等。
这里发生了什么?
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
main_url="https://www.quora.com/profile/Joseph-Boyle"
def startBrowser():
driver = webdriver.Ie()
#driver = webdriver.Edge()
driver.set_page_load_timeout(60)
#driver.get(main_url+"/following")
return driver
def get_all_following(driver,url):
driver.get(url+"/following")
a=driver.find_elements_by_tag_name('div')
#b=driver.find_element_by_class_name('PagedList UserConnectionsFollowingList')
#c=driver.find_elements_by_tag_name('a')
print len(a)
#print len(b)
#print len(c)
driver=startBrowser()
get_all_following(driver,main_url)