我正在尝试抓取一个Javascript繁重的网站。
# import HTMLSession from requests_html
from requests_html import HTMLSession
import logging
import time
# Logging warnings to avoid error messages
logging.captureWarnings(True)
# create an HTML Session object
session = HTMLSession()
url = 'https://duckduckgo.com/'
# Use the object above to connect to needed webpage
resp = session.get(url,verify=False)
# Run JavaScript code on webpage
resp.html.render()
但是,根据尝试此代码的网站,我遇到以下2个错误之一
RuntimeError:无法在现有事件循环中使用HTMLSession。请改用AsyncHTMLSession。
ConnectionError:HTTPSConnectionPool(host ='duckduckgo.com',端口= 443):URL超过了最大重试次数:/(由NewConnectionError(':导致:无法建立新连接:[Errno 11001] getaddrinfo失败',))
我无法解决这两个问题。你能帮忙吗?