Question

点击显示我需要的表单的按钮后，需要使用BeautifulSoup废弃网站的内容。我正在使用Selenium点击按钮。换句话说，在我做出一些改变其默认内容的操作后，我不知道如何废弃网站。

我使用以下代码点击按钮：

from bs4 import BeautifulSoup
from selenium import webdriver

site= "http://example.com"

dr = webdriver.PhantomJS('./phantomjs')
dr.get(site)

loginButton = dr.find_element_by_xpath("//button[@ID='someId']")
loginButton.click()

Answer 1

在导入部分：

from bs4 import BeautifulSoup
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.select import Select
from selenium.webdriver.support.ui import WebDriverWait

等到你需要的所有东西都加载了，例如

WebDriverWait(dr, 30).until(
    EC.presence_of_all_elements_located((By.TAG_NAME, 'select'))
)

然后将Web驱动程序页面源提供给BeautifulSoup

source = BeautifulSoup(dr.page_source, "html.parser")

在对其进行一些更改后刮取网站

1 个答案: