轻松下载多个网站的页面源代码

时间:2017-09-05 12:16:22

标签: html excel web

我需要从245个特定网址获取源代码(未经编辑) 然后导入到excel,我已经设置了一些过滤,text2columns等,从每个页面中提取我需要的特定信息..

我可以手动打开所有245页,查看源代码,突出显示,复制,打开Excel,粘贴等等。但我相信有更简单的方法???

有什么想法吗?

1 个答案:

答案 0 :(得分:0)

您可以使用curl下载网页并将其保存到文件中。例如:

curl -L www.google.com > google.com

-L将遵循重定向。

对于您可以使用的多个文件:

curl -L -O http://www.example.com/page1.html -O http://www.example.com/page2.html

这将在当前目录中创建2个文件page1.html和page2.html。

您可以从以下位置下载适合您环境的卷曲: https://curl.haxx.se/download.html