我有一个文本文件（150GB），我需要下载大约25亿个链接。
我想知道我是否忘记了这个文件，如果wget将整个文件内容放入内存，以及是否可能导致该机器崩溃。
我也有兴趣了解下载此类链接时的一些最佳做法，例如，它下载的目录是否会因此数量的文件无法使用？
如何恢复，wget会从下载停止或失败的顶部进行检查，这可能需要很长时间。
是否记录日志？日志文件真的很大吗？日志文件在保存到某处之前是否存储在内存中？我可以禁用日志。
基本上，我对下载此大小的文件的最佳做法感兴趣。我下载的每个链接大约250个字节。
非常感谢