Question

我前段时间写了一个简单的刮板，它打开了chrome浏览器并从网站上刮了一些数据。但是，现在每次我运行该脚本时，它都不会打开我提供的URL，而是重定向到GDPR同意网站。我从选项中删除了-隐身模式，但仍然相同。镶边会打开，然后脚本会崩溃，因为该脚本会自动重定向到该GDPR同意网页。我该如何解决这个问题？

这是重现该错误的代码。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
option = webdriver.ChromeOptions()
#option.add_argument("--incognito")
browser = webdriver.Chrome(executable_path='chromedriverpath', chrome_options=option)
rval=[]
browser.get("https://finance.yahoo.com/quote/AAPL/key-statistics?p=AAPL")
timeout = 10
WebDriverWait(browser, timeout)
values_element = browser.find_elements_by_xpath("//td[@class='Fz(s) Fw(500) Ta(end)']")
print(browser)
values = [x.text for x in values_element]
rval.append(values[8])

for title, value in zip(stockname, rval):
    print(title + ': ' + value)

evdict=dict(zip(stockname, rval))

Answer 1

所以要绕过这样的弹出窗口，该弹出窗口阻止硒抓取我需要添加的数据：

browser.find_element_by_xpath("//input[@type='submit' and @value='OK']").click()

哪个会单击正确的按钮并为我关闭窗口。这样硒就可以正常工作了。

硒webdriver和GDPR同意

1 个答案: