Question

我正在尝试确定印度中央污染控制委员会生成的数据页数。这是一个 example of output。在 https://github.com/RachitKamdar/Python-Scraper 之后，我使用了 selenium/python

maxpage = int(browser.find_elements(By.XPATH,"//*[@id='DataTables_Table_0_paginate']/span/a")[-1].text)

但这会产生一个空数组。我真的不确定我做错了什么。任何帮助将不胜感激。谢谢

Answer 1

您必须添加预期条件以等待页面加载数据。
您可以等待正在使用的元素的可见性，然后获取它的文本，如下所示：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

wait = WebDriverWait(driver, 20)
wait.until(EC.visibility_of_element_located((By.XPATH, "//*[@id='DataTables_Table_0_paginate']/span/a")))
maxpage = int(browser.find_elements(By.XPATH,"//*[@id='DataTables_Table_0_paginate']/span/a")[-1].text)

Answer 2

您可能想尝试 getattribute('textContent')

就你而言：

maxpage=browser.find_element_by_xpath("(//*[@id='DataTables_Table_0_paginate']/span/a)[last()]").getattribute('textContent')

使用 XPATH 和 Python 选择元素？

2 个答案: