通过bash脚本获取域头

时间:2019-12-08 11:01:49

标签: bash curl awk

我在test.csv中编写了10个域,并试图获取这10个域的标头。但不会一一读取内容。

并运行该脚本

for j in test.csv
do

awk -F',' '{ print "$1" }' $j | curl -Is | cat >> b.txt

done

我大约有1000万个域,并尝试通过脚本获取标头。有可能吗?

1 个答案:

答案 0 :(得分:1)

curl不会从stdin中读取URL,除非您告知这样做。而且您不需要为此进行循环(假设您有多个文件)。您正在寻找的是:

awk -F',' '{ print "url=" $1 }' file1 file2 file3 ... | curl -s -I -K- > out

注意-K-,它告诉curl从stdin读取命令行参数。