Craigslist硒诊断正在发生的事情

时间:2019-06-10 03:30:30

标签: python selenium web-scraping

https://sfbay.craigslist.org/sfc/rts/d/san-francisco-new-mortgages-reverse/6908455741.html

当我单击“答复”->“显示电话号码”按钮时,如何诊断发生了什么?

有此弹出和加载按钮。我想查看单击第一个和第二个按钮时从浏览器发送到服务器的内容。源代码显然在动态变化,因此通过检查源进行跟踪是不切实际的。我想象有一个插件或某种工具来拦截或读取请求。

2 个答案:

答案 0 :(得分:0)

您可以使用Fiddler捕获请求,捕获http / https请求,并帮助您了解如何模仿所需的功能。

答案 1 :(得分:0)

在Chrome或Firefox中,您可以打开控制台并仅查看按钮产生的网络流量。

enter image description here

以您的示例为例,您可以在以下地址看到对API的调用:

https://sfbay.craigslist.org/contactinfo/sfo/rts/6908455741    

分析后,您可以使用Selenium编写行为脚本并获取数据。