如果URL仍然有效（或404 /否则丢失），如何快速检查大量URL

Question

网址已经方便地放在文本文件中，每个网址一行，所以它可能是微不足道的curl / wget / LWP单行。有人愿意分享吗？

Answer 1

使用LWP，您可以执行此操作（如果您愿意，可将输出重定向到文件）

linux-t77m$ cat urls
http://google.com
http://stackoverflow.com
http://yahoo.com
linux-t77m$ cat urls | while read i ;do echo -n $i" "; lwp-request $i -sd; done
http://google.com 200 OK
http://stackoverflow.com 200 OK
http://yahoo.com 200 OK

最快的方法（如更快地获得结果）当然是并行启动进程。