第三方数据传递大量数据

时间:2008-10-05 02:22:36

标签: real-time

有谁知道拥有大量数据的实时Feed的网站如何运作?我指的是类似股票网站的东西,他们可以在那里实时告诉你(好吧,主要是20分钟的延迟,但仍然是实时的 - 据我所知20分钟)。

他们每秒都有数以千计的数据传递给他们,我想:MSFT 25.00 + .23 VOL 12000 ????对于在某个时间间隔内发生变化的每只股票。

那么,是不是只有小推进的持续馈送?或者你认为一个网站会从拥有真实数据的地方拉出来并说“从CST 12:23:45到现在为止给我所有的变化”类型查询?

我问这个是因为在工作中我们可能会遇到这样的情况:我们需要在我们的应用程序的指尖获得这样的实时信息,并且每隔一秒又一次地反复击中我们的第三方提供商是没有意义的...

4 个答案:

答案 0 :(得分:4)

通常在两方之间定义服务器/客户端协议。在公司里,我一直都在努力保持联系。

以下是与您的股票示例一起使用的实时数据Feed的信息

NYSENASDAQ

数据提供商通常也拥有带有(延迟)批量数据的FTP站点。我想到的是NWS EMWIN

答案 1 :(得分:1)

Twitter等网站通过XMPPWiki link)实时向某些已批准的网站提供数据。

答案 2 :(得分:1)

从广义上讲,推送模型将是实现“实时”转移的最佳方式,特别是如果您正在谈论大量数据。

但是,在使用纯粹的推送模型时,如果从错过的数据中恢复,则总是会遇到问题。

根据您的数据性质可能不是一个问题(将视频传输视为模拟,数据量巨大但有足够的冗余来从丢失的数据中恢复)。如果您对数据有任何控制权,您可以构建一些冗余。例如,在每个更改事件中,您可以提供绝对值而不是更改,或先前的值和新值。

答案 3 :(得分:0)

我这样做是为了尝试从源代码中检索股票报价,并在主要资源出现故障或超时时回退到报价的带时间戳的磁盘缓存。