当“转到最后一页”按钮不起作用时,转到网站的最后一页

时间:2020-06-25 05:48:57

标签: python html selenium web-scraping

我需要转到以下站点link的最后一页。这是因为当我右键单击一行时,我将能够将以前的所有行与它一起导出为csv文件。这样,我可以下载网站中显示的完整数据。

但是问题是Go to last page选项不起作用。因此,我目前正在使用硒来单击下一页按钮以最终到达最后一页。但是要花很多时间。

这是我当前正在使用的代码。

from selenium import webdriver
import time

url = "https://mahabocw.in/essential-kit-benefits-distribution/"
driver = webdriver.Chrome()
driver.get(url)

for i in range(1000000):
    next_button = '/html/body/div[1]/div[6]/div/article/div/div/div/div/div[2]/div/div/div[2]/div/div[4]/span[2]/div[3]/button'
    click_next = driver.find_element_by_xpath(next_button)
    click_next.click()

有什么方法可以修改网站中的代码,并可以使特定按钮:Go to last page起作用,以便可以转到该页面并下载所有数据。还是有一些我可以采用硒的更好的技术。

任何帮助或建议都会很有帮助。提前谢谢。

0 个答案:

没有答案