我正在使用一种名为DAP(https://github.com/rapid7/dap)的东西,它有助于处理大型文件处理并输出不断增长的数据列表。
例如:
curl -s https://scans.io/data/rapid7/sonar.http/20141209-http.gz | zcat | head -n 10 | dap json + select vhost + lines
此代码正常工作,它将输出10行IP地址。
我的问题是如何从PHP中读取这些数据 - 实际上数据Feed是连续的/实时的(它将在某个时刻结束)我如何处理我给出的每一行?
我已尝试过它,但我没有通过输出。我不想使用exec,因为数据在不断增长。我认为它可能是一个流,但不确定是否是这种情况。
答案 0 :(得分:0)
对于发现自己处于相同情况的其他人 - 这里的答案对我有用(也可以直接从命令行运行):
curl -s 'https://scans.io/data/rapid7/sonar.http/20141209-http.gz' | zcat | head -n 1000 | dap json + select vhost + lines | while read line ; do php /your_script/path/file.php $line ; done
然后拔出$ argv [1]并且数据全部都是你的。