最佳实践 - 内容跟踪远程数据(cURL,file_get_contents,cron等)?

时间:2010-04-21 23:45:49

标签: php curl cron

我正在尝试构建一个脚本,用于记录每1秒更改一次的数据。最初的想法是“只运行一个从cron每秒钟执行cURL的php文件” - 但我非常强烈地认为这不是正确的方法。

以下是我的规格: 目前我需要从中收集数据和登录数据库的10个站点 - 这个数字将随着时间的推移而不断增加,因此解决方案需要具有可扩展性。每个站点都有每秒发送到URL的数据,但只在页面上保留10行,有时每次最多可以吐出10行,所以我需要每秒拾取一次数据以确保获得所有数据。

由于我也将这些数据写入我自己的数据库,所以每天都会有很长一段时间的I / O.

除非魔术,实现这一目标的最有效方法是什么?

可能有助于知道我每秒获得的数据非常小,不到500字节。

1 个答案:

答案 0 :(得分:0)

最有效的方法是不使用cron,而是使应用程序始终运行并保持卷曲句柄打开并每秒重复请求。这样,他们将几乎永远保持连接,并且重复的请求将非常快。

但是,如果目标服务器不是您的或您的朋友,那么他们很可能会感激您对他们的抨击。