我有一个我想下载的网页链接列表（最好全部放入一个txt）。
到目前为止一切都很好，我只是这样做：
curl -o 1.txt "http://example.com/1"
curl -o 2.txt "http://example.com/2"
curl -o 3.txt "http://example.com/3"
...
然后将它们组合成一个通过终端。
适用于少数请求（最多约100个）。但是现在我需要超过1000并且服务器响应“你正在点击我们的服务器。”或“不得使用方法”。
是否有任何方式或程序可以简单地下载我链接到的网页的HTML？
谢谢！