我已经编写了一个python脚本来使用selenium自动执行和复制网页中的链接,但是当链接数量很多时,仅会获得一部分链接,其余部分会被截断。有没有办法一个接一个地增加链接或增加python中“列表”项的容量?
while(last==True):
prevlen=aftlen
brow.execute_script("window.scrollTo(0, document.body.scrollHeight);var lenOfPage=document.body.scrollHeight;")
time.sleep(10)
aftlen=len(brow.find_elements_by_class_name("answer_permalink"))
print(aftlen)
if(prevlen == aftlen):
n=n+1
if(n==10):
last=False
print("Scrolling completed")
filename='links.txt'
links=brow.find_elements_by_class_name("answer_permalink") #problem lies here all links are taken into list at once
outputfile=open(filename,mode='w')
print("writing to file")
for link in links:
item=link.get_attribute("href")
outputfile.write("%s\n" %item)
例如,我有550个网页,但是webdriver仅将496个链接提取到列表中。