如何将压缩数据发送到Azure Stream Analytics?

时间:2016-08-19 18:10:25

标签: azure-eventhub azure-stream-analytics

我有一个系统从设备收集数据并以JSON格式将数据发送到Azure Eventhub。有一个Azure流分析流,它从eventhub获取数据并将其输出到PowerBI。它每秒发送一次数据。有时,Internet连接会丢失,系统会不断从设备收集数据。当Internet连接恢复时,它会将所有收集的数据发送到eventhub。我希望在发送之前压缩或压缩数据。

但Stream分析输入格式仅为JSON,CVS或Avro。压缩的Json会自动解压吗?或者我们无法将压缩数据发送到Azure流分析?

3 个答案:

答案 0 :(得分:1)

Avro 压缩......有点儿。使用Deflate压缩有效负载。但是,消息架构包含在未压缩的形式中。在某些情况下,单个事件的模式可能大于有效负载。与每条消息一起发送的相同类型的事件越多,您从Avro中看到的好处就越多。

如果您发送非常少量的事件并且关注有效负载大小,那么您可能更适合滚动自己的压缩并使用Azure Function或WebJob之类的东西从“原始”事件中心拉出,然后解压缩提交到Stream Analytics可以收听的“解压缩”事件中心。

答案 1 :(得分:0)

当您必须发送一堆行时,Avro是压缩(json)数据的好方法。

问候,

菲利普

答案 2 :(得分:-1)

Azure Stream Analytics不支持解压缩输入数据。

谢谢, Kati Iceva