执行JS后，如何获取网页的HTML代码？

Question

我正在尝试抓取一个JS密集型网站，我想通过加载页面，呈现JS然后使用BeautifulSoup进行抓取来做到这一点。 如果可能，我想在RaspberryPi上执行此操作

我尝试使用Requests-HTML，虽然运行了好一阵子，但由于内存限制，无法让Python3.7在Raspberry上运行它。 然后，我尝试将Selenium与Geckodriver（对于arm6不可用，我不知道如何为Raspberry进行编译）和PhantomJS（无法正常工作）一起使用。

Answer 1

您有两个选择。

• 使用可以模仿浏览器并呈现页面js部分（例如硒）的工具

• 检查页面，查看哪些后端请求正在获取您所需的数据

如果需要通用工具，我可以采用第一种方法，该工具可以从各种页面中抓取数据

如果需要从多个站点抓取页面并完成操作，我将选择第二个。如果您提供一些链接，我可以尝试为您提供帮助。