我有一个网站，我从中下载2-3 MB的原始数据，然后将其输入到ETL过程中，以将其加载到我的数据集市中。不幸的是，数据提供者是美国农业部（USDA），他们不允许通过FTP下载。他们要求我使用Web表单选择我想要的元素，点击2-3个屏幕，最后点击下载文件。我想自动执行此下载过程。我不是一个Web开发人员，但似乎我应该能够使用一些工具来告诉我put / get / magic从最终请求到服务器的确切内容。如果我有一个工具说“将这些参数传递给这个url并等待响应”，那么我可以在Perl中一起破解一些东西来自动完成这个过程。
我意识到，如果我解构了他们所有的5个页面，并通过JavaScript阅读并包含3次我的治疗，我可以从我可以访问的内容中获取此信息。但我想要一个更快更直接的路径，不需要我手动解析所有的JS。
重述最后一个问题：是否有工具或方法可以清楚地显示从Web表单发送的最终请求请求是什么以及它是如何构建的？