最佳实践 - 内容跟踪远程数据（cURL，file_get_contents，cron等）？

Question

我正在尝试构建一个脚本，用于记录每1秒更改一次的数据。最初的想法是“只运行一个从cron每秒钟执行cURL的php文件” - 但我非常强烈地认为这不是正确的方法。

以下是我的规格： 目前我需要从中收集数据和登录数据库的10个站点 - 这个数字将随着时间的推移而不断增加，因此解决方案需要具有可扩展性。每个站点都有每秒发送到URL的数据，但只在页面上保留10行，有时每次最多可以吐出10行，所以我需要每秒拾取一次数据以确保获得所有数据。

由于我也将这些数据写入我自己的数据库，所以每天都会有很长一段时间的I / O.

除非魔术，实现这一目标的最有效方法是什么？

可能有助于知道我每秒获得的数据非常小，不到500字节。

Answer 1

最有效的方法是不使用cron，而是使应用程序始终运行并保持卷曲句柄打开并每秒重复请求。这样，他们将几乎永远保持连接，并且重复的请求将非常快。

但是，如果目标服务器不是您的或您的朋友，那么他们很可能会感激您对他们的抨击。