使用 selenium 抓取弹出式搜索结果

Question

我正在尝试抓取 PH 新闻网站 https://www.philstar.com/，但其搜索结果是一个弹出窗口，因此我必须手动点击搜索以及使用驱动程序的所有内容。

search_button = driver.find_element(By.TAG_NAME, "img#search_toggle")
search_button.click()
        
search_input = driver.find_element(By.TAG_NAME,"input#zoomd")
search_input.send_keys(KEYWORD)
search_input.send_keys(Keys.RETURN)

在使用任何关键字搜索后，有一个按钮显示“更多来自热门搜索”，我想点击它以加载更多新闻，但我似乎无法通过驱动程序找到它

wait = WebDriverWait(driver, 10)

XPATH = f'//div[@class="zoomd-widget-content-wrapper"]/zoomd-search-results[3]/section/button'
        
button = wait.until(EC.element_located_to_be_selected((By.XPATH,XPATH)))

button.click()

它似乎是缩放小部件的一部分。知道如何从中刮取吗？

Answer 1

您可以尝试传递完整的 xpath 并查看它是否有效吗？对于 zoomd 输入，这是路径

/html/body/zoomd-widget-root/zd-widget/div/div[2]/div/zoomd-search-results[3]/section/button

该按钮确实是动态加载的，因此请尝试在点击调用上方添加显式等待以确保它已加载。