我试图用Selenium创建一个机器人,目的是收集在线市场平台上列出的所有联系人。
该网站一次加载了12个广告,因此我使该机器人尽可能增加了加载量,以显示约1000条列表。但是,问题在于列表联系人在下一页上,所以我必须让漫游器单击加载的1000个列表中的每个列表,然后单击也在下一页上的立即致电按钮。
我似乎无法弄清楚该怎么做。 在漫游器显示1000个列表后,我尝试将.click()添加到元素中,但是由于某种原因它不起作用。
任何帮助或建议,将不胜感激。
我希望机器人:
代码:
from selenium import webdriver
import time
browser = webdriver.Chrome('C:\\Users\\IFY\\Downloads\\chromedriver.exe')
browser.get('https://www.olx.com.ng/abuja_g40000000068')
elems = browser.find_elements_by_class_name('EIR5N')
button = browser.find_element_by_xpath("""//*[@id="container"]/main/div/section/div/div/div[4]/div[2]/div/div[3]/button""")
link = browser.find_elements_by_class_name("_1X63c")
while len(elems) < 10000:
button.send_keys("\n")
else:
print(link)