Python - 使用Comet和HTTP流式传输的Web抓取页面

Question

我必须从fxstreet中提取数据 我用firebug提取HTML代码，看起来网页正在使用Comet和HTTP流。

我想用数据每秒填写一本字典，而不必刷新页面。我是用urllib.urlopen做的，但我不得不每秒都进行一次查询。

有人知道从Comet＆amp; amp;中提取数据的正确方法。 http流媒体？ 感谢

Answer 1

您可能希望使用gevent，Tornado或Twisted编写异步HTTP客户端来使用您的服务。已经有很多项目可以用于使用Twitter Streaming API，你可能会寻求灵感：

• https://github.com/fiorix/twisted-twitter-stream - twisted
• https://github.com/dustin/twitty-twister - twisted
• https://github.com/atl/twitstream - asyncore，pycurl或tornado
• https://github.com/godavemon/TwitTornado - tornado
• https://github.com/thruflo/close.consumer - gevent

Answer 2

我不是这方面的专家，但我所知道的是，Comet的工作方式是仅在时间接近极限时响应请求或服务器上有一些变化。因此，您可以发出Comet请求，并且假设没有任何更改，除非Comet请求返回了。

因此，基本上，您可以在表中发出Comet请求并存储Comet请求返回的数据。通过另一个请求（可以每秒发送一次），检查表中是否有新添加的数据，如果找到则返回。

这是你所期望的吗？

Answer 3

只需拉动数据并在同一时刻再次实例化查询，而不是在1秒内 - Comet只是意味着服务器在有新数据可用之前不会响应。