从后续的自动相关请求中对原始HTTP请求进行排序

Question

我想查看python中的pcap文件并整理出HTTP请求。但是，我只想要原始请求（例如http://www.site.com/index.html），而不是后续和自动的几个请求，例如嵌入式内容，广告等。我希望我的脚本只返回一个原始请求用户自己发起的。

如何以编程方式区分用户发起的请求和后续请求？

由于

Answer 1

HTTP请求彼此之间没有链接（Referer标头可以在用户发起的请求中发送，因此不够好），并且没有任何内容可以指示给定请求是手动还是自动。唯一的选择是实际解析第一个响应的内容，从中提取所有可能的自动URL（脚本，图像等），然后检查后续请求以查看它们是否适用于这些URL，解析这些响应以获取更多URL等等。