从网页自动下载数据

时间:2020-06-30 10:42:01

标签: linux shell

我曾经从网站上下载数据,有时它很无聊且重复,所以我想知道有什么方法可以自动下载数据

例如,我曾经从此链接下载:“ http://isc-mirror.iris.washington.edu/iscbulletin/search/arrivals/#phases” 。我需要做和更改的是填充并选择一些参数,然后单击“搜索到的货物” 。例如,就我而言,我需要单击“已审核的ISC公告” ,在“阶段名称:” 部分中写上一个阶段名称(例如Sg),然后选择<分别为“为活动选择区域:” “选择站点:” 的strong>“矩形搜索” 。例如,我想在“最高纬度(-90至90):” 中输入 '50',在中输入 '40' >“底纬度(-90至90):” “ 70” 表示“左经度(-180至180):” <80> 表示“选择活动的区域:” “选择站点”中的“右经(-180至180):” :” 。我需要将“开始日期:” 更改为“ 1/1/1964” ,并为添加“日期” “结束日期:” ,然后单击“搜索到达” ,最后,我将获得输出。我正在考虑以一种系统的方式并且像一个循环那样进行此操作,逐年获取结果,然后将所有结果输出到一个文件中。对于每年,唯一要更改的参数是“开始日期:” “结束日期:” ,而其他选择和参数相同。

为澄清起见,我提供一个带有值的示例:1)首先,我如上所述填充参数,并将“ 1/1/1964” 设为“开始”日期:“ 1/1/1965” 作为“结束日期:” ,点击“搜索到达” ,输出结果在文件中。 2)然后刷新网站,完全像以前一样填补空白,并获得下一年的输出。我们只需要将以前的“结束日期:” “ 1/1/1965” 替换为新的“开始日期:” 并将“ 1/1/1966” 作为新的“结束日期:” ,然后单击“搜索到达” 并将其输出到上一个文件(输出)。我想继续此过程,直到 1/12/2017

这样做的原因是,如果我要下载很大的年份范围,输出的大小会很大,从而导致进程崩溃。

使用Linux服务器和Shell,并熟悉AWK 。我曾经使用 Google Chrome 作为我的互联网浏览器。在不熟悉这样的过程之前,我还没有做过这样的事情。如果有人可以帮助我如何以这种自动化的方式获取数据,我将深表感谢。

最好的问候

0 个答案:

没有答案