我想从网站中提取应用程序的所有评论,但是自动滚动器会停在“显示页面”按钮上,需要单击该按钮并滚动到下一页,依此类推,直到最后。我需要添加什么才能单击并再次滚动?
我正在使用硒。
from selenium import webdriver
from bs4 import BeautifulSoup
import time
import datetime
browser = webdriver.Chrome()
url="https://www.g2.com/products/sap-concur/reviews?focus_review=2070722&product_id=sap-concur"
browser.maximize_window()
browser.get(url)
html = browser.page_source.encode('utf-8').strip()
soup=BeautifulSoup(html,'html.parser')
reviews = soup.find_all('div', {"class":"x-review slat slat--review"})
for tag in reviews:
print(str(tag))
browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
browser.find_element_by_xpath('//*[@id="pjax-container"]/div[2]/div[2]/div[6]/ul/li[2]/a').click()
reviews2 = soup.find_all('div', {"class":"x-review slat slat--review"})
for tag in reviews2:
print(str(tag))