如何获取我在inspect元素中看到的html？

Question

我正在用python编写一个web-scraper应用程序。我想要抓取数据的网站使用JS。 如何获得我在inspect元素中看到的源代码？

Answer 1

使用javascript pycurl不起作用，您需要Selenium来获取所需的内容。

import selenium
driver = selenium.webdriver.Firefox()
driver.get("your_url")

确保已安装Firefox（或其他浏览器selenium支持）。