Python - 使用请求模块重建Javascript生成的代码

Question

我正面临一个新问题。 我正在为网站编写一个刮刀，通常用于我使用selenium的这类任务，但在这种情况下，我不能使用任何模拟网络浏览器的东西。

研究StackOverflow，我读到最好的解决方案是找不到javascript所做的事情并通过HTTP重建请求。 是的，我在理论上很了解，但不知道如何开始，因为我不了解所涉及的技术。

在我的特定情况下，单击按钮时会向页面添加一些HTML。使用开发人员工具，我在“点击”按钮上设置了一个断点。事件，但是从这里开始，我真的输了。

任何人都可以链接一些我可以学习的资源和示例吗？

Answer 1

在大多数情况下，分析开发人员工具的“网络”选项卡并查看按下您提到的按钮时触发的请求是很有必要的。

当您了解这些请求时，您将能够实施刮刀以运行类似的请求并获取相关数据。