最大限度地降低跨Azure区域发送Event Hub / Stream Analytics数据的数据传输成本

时间:2018-01-26 12:31:52

标签: azure azure-eventhub azure-stream-analytics

我在美国东部有一项服务,它收集请求数据。我需要将这些数据恢复到我们在北欧运行的中央数据库。目前,在美国东部运行的网络应用程序正在将信息发送到北欧的事件中心作业,其中流分析作业处理它并输出到数据库。

我希望尽量减少数据传输成本,这会大规模地造成问题。我正在寻找方法,例如:

  • 最小化有效负载大小
  • 使用GZIP或deflate压缩有效负载
  • 分批发送数据以从压缩中获得更多好处

但将Event Hubs工作转移到美国东部是否有好处?进入事件中心的带宽是否等于从事件中心作业到流分析作业的带宽? Stream Analytics是否以更高效的方式提取数据,可能是每隔x毫秒拉一次压缩批次?

如果这意味着减少数据传输的大小,我可以接受几秒钟的延迟。

1 个答案:

答案 0 :(得分:1)

我认为这取决于您是否在ASA工作中应用聚合。 ASA的一个常见用法是减少数据量。例如,SQL Server将无法处理与Event Hub相同的吞吐量级别,因此在写入SQL Server之前,人们通常会计算窗口化聚合。如果您应用相同的模式,则在美国东部运行ASA作业并将减少量的输出写入北欧是有意义的。

如果您不执行数据缩减,无论您是在美国东部还是在北欧运行ASA作业,数据传输量都是相似的。 ASA使用Event Hub的基于AMQP协议的客户端通过TCP连接检索事件。但它不执行压缩。您可以在发件人大小的有效负载上执行gzip压缩。 ASA可以选择解压缩负载以进行处理。