我需要从第三方提供商处获取一些实时数据,转换它们并通过websockets推送到浏览器。
从我收到数据到浏览器获取数据之前,整个过程不应超过200毫秒。
我正在考虑再次使用pub / sub to dataflow to pub / sub,其中websocket服务器将订阅并将消息推送到浏览器。
这种方法是正确的还是数据流不是为此类设计的?
答案 0 :(得分:1)
Dataflow专为可靠的流聚合和分析而设计,并非设计用于通过系统保证亚秒级延迟。像窗口化和触发这样的核心原语允许在定义的数据窗口上可靠地处理流,尽管有较晚的数据和潜在的机器或管道错误。我们优化的主要用例是,例如,在数据流上聚合和输出统计数据,为每个窗口输出可靠的统计信息,同时记录磁盘以实现容错,并在触发之前等待必要的时间以适应延迟数据。因此,我们尚未优化的是您需要的端到端延迟。</ p>