在PHP中并行处理/下载一组网页的最快方法

时间:2011-05-30 09:47:01

标签: php

我有一组Justin.tv/livestream网址,我可以从中获取流状态和缩略图。在任何给定的点上,最有可能不会超过50个这样的URL

我尝试了什么 -

1)天真的连续下载/处理,显然很糟糕。

2)cURL multi,但仍然看起来有点慢,除非我做错了 - 有时一页只需要一段时间来加载和瓶颈一切。

上述两者似乎都是有限的,原则上是“坏”,因为我正在加载另一个页面以加载主要内容。由于我同时加载了这么多页面,似乎会随机出现一个缓慢的网址,从而产生瓶颈。

我考虑过在后台运行一个PHP脚本,用流状态和缩略图连续更新数据库表,然后在加载页面时我只是查询数据库,这应该快得多。这会是最有效的解决方案,还是有更好的解决方案?

我最担心的是这种连续运行的脚本可能会被无意中听到,因为我希望更新尽可能“直播”。我认为负载并不是什么值得担心的,因为每个页面本身并不是那么大,所以我认为HTTP握手时间主导着传输时间。

对此有何建议?

1 个答案:

答案 0 :(得分:0)

justin.tv有一个API:http://www.justin.tv/p/api您可能需要查看它而不是尝试使用screenscrapp