Question

不确定最好的方法是什么。我有一个动态加载内容的页面，但标签是 <a href="javascript:void(0);">Daily</a>。

我已经看到脚本实际上发送了一个网络请求，该请求是 POST 及其类型的 html。理想情况下，我想获得该回复的副本。这样做的最佳方法是什么。我已经阅读了 Selenium、request-html、scrapy 的各种内容。我有 URL ，Xpath 所以任何帮助将不胜感激。

Answer 1

不清楚这是否是您要问的。如果您需要等待页面动态加载，请尝试这样的操作。我在带有 chrome 和漂亮汤的 Windows 上使用它。你可以使用任何你喜欢的 html 解析器

import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument("--headless")

url = 'your url'
driver = webdriver.Chrome('chromedriver.exe', options=chrome_options)
driver.get(url)
time.sleep(5) # time for page to load
html = driver.page_source
soup = BeautifulSoup(html, "html.parser") #use bs4 to parse html

# do your thing here....

driver.quit()

动态网页抓取 javascript:void(0)。 Python

1 个答案: