用硒进行网页抓取,页面无法加载

时间:2020-02-26 10:31:25

标签: python selenium web-scraping

我已经用Python创建了一个脚本来进行一些网络爬虫,并且一切都在我的计算机上顺利运行。几天前,我有一台新计算机,当我运行脚本时,该网站无法加载。我的意思是,谷歌浏览器会打开一个新窗口,但该网站无法加载。我只得到一个空白页。

我知道两台计算机上都有不同版本的Chrome(新版本中为v72和v80),因此我已经下载了与v80兼容的Chromedriver。如果更改网站名称,则会加载该页面。另外,我还有另外两个可以完美运行的网络抓取脚本。

这是我的代码:

from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys
import os
from datetime import date, timedelta

from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By

import sys
sys._enablelegacywindowsfsencoding()

options = webdriver.ChromeOptions()

options.add_experimental_option("prefs", {
  "download.default_directory": r"\my_path\",
  "download.prompt_for_download": False,
  "download.directory_upgrade": True,
  "safebrowsing.enabled": True,
  "credentials_enable_service": False,
  "profile.password_manager_enabled": False
})

options.add_argument("--disable-notifications")
options.add_experimental_option('excludeSwitches', ['enable-automation']) 
options.add_argument("--disable-extensions")
options.add_argument("start-maximized")
options.add_argument("disable-infobars")


wdriver = webdriver.Chrome("my_path\\chromedriver80.exe", options=options)

#open
wdriver.get ("https://hub.checkout.com/login")

最后一行之后,我所得到的只是一个空白窗口,如下所示。 enter image description here

你能帮我吗?

0 个答案:

没有答案