一对一地从Selenium Webdriver获取元素

时间:2018-12-09 13:38:44

标签: python-3.x selenium selenium-webdriver automation

我已经编写了一个python脚本来使用selenium自动执行和复制网页中的链接,但是当链接数量很多时,仅会获得一部分链接,其余部分会被截断。有没有办法一个接一个地增加链接或增加python中“列表”项的容量?

while(last==True):
    prevlen=aftlen
    brow.execute_script("window.scrollTo(0, document.body.scrollHeight);var lenOfPage=document.body.scrollHeight;")
    time.sleep(10)
    aftlen=len(brow.find_elements_by_class_name("answer_permalink"))
    print(aftlen)
    if(prevlen == aftlen):
            n=n+1
    if(n==10):
            last=False
            print("Scrolling completed")
filename='links.txt'
links=brow.find_elements_by_class_name("answer_permalink") #problem lies here all links are taken into list at once
outputfile=open(filename,mode='w')
print("writing to file")
for link in links:
        item=link.get_attribute("href")
        outputfile.write("%s\n" %item)

例如,我有550个网页,但是webdriver仅将496个链接提取到列表中。

0 个答案:

没有答案