从实时数据源php中读取

时间:2017-01-19 09:49:00

标签: php php-stream-wrappers

我正在使用一种名为DAP(https://github.com/rapid7/dap)的东西,它有助于处理大型文件处理并输出不断增长的数据列表。

例如:

curl -s https://scans.io/data/rapid7/sonar.http/20141209-http.gz | zcat | head -n 10 | dap json + select vhost + lines

此代码正常工作,它将输出10行IP地址。

我的问题是如何从PHP中读取这些数据 - 实际上数据Feed是连续的/实时的(它将在某个时刻结束)我如何处理我给出的每一行?

我已尝试过它,但我没有通过输出。我不想使用exec,因为数据在不断增长。我认为它可能是一个流,但不确定是否是这种情况。

1 个答案:

答案 0 :(得分:0)

对于发现自己处于相同情况的其他人 - 这里的答案对我有用(也可以直接从命令行运行):

curl -s 'https://scans.io/data/rapid7/sonar.http/20141209-http.gz' | zcat | head -n 1000 | dap json + select vhost + lines | while read line ; do php /your_script/path/file.php $line ; done

然后拔出$ argv [1]并且数据全部都是你的。