带有blob数据的Azure IoT + Stream Analytics

时间:2017-07-27 14:51:48

标签: csv azure blob azure-iot-hub azure-stream-analytics

我们目前正在尝试评估是否应该移植我们的业务逻辑 到Azure IoT Hub。

到目前为止,这看起来很有希望,但我对流分析有疑问。

让我们说我们在现场有IoT设备将其数据作为csv文件发送。 目前我们的后端在处理这些数据时存在一些巨大的问题,需要对其进行分析并将其注入我们的数据库系统并具有良好的性能。

我想尝试使用Azure。 如果我使用IoT集线器并想将此csv格式发送到集线器。我们假设csv格式是固定的,所以我不能只是移植到d2c通信格式。

流分析服务是否可以使用此csv格式,是否可以将嵌入数据放入表存储中的特定表中?

这非常重要。那有什么例子可以为我解决问题吗?

我猜Auzre有自己的库来处理csv文件。如果我们不使用csv格式,而是使用Azure可能不知道的另一种行业标准格式,该怎么办?

希望你能在这里帮助我。

1 个答案:

答案 0 :(得分:2)

Azure Stream Analytics(ASA)将support CSV作为输入:

  

事件序列化格式:传入数据流的序列化格式(JSON,CSV或Avro)。

是的,它还支持Azure表存储作为输出。请参阅docs

创建ASA作业时,您可以upload your csv file to test the query,以便在创建示例文件时轻松尝试。

他们在github

上有一些示例csv数据

我建议您根据样本数据创建一个小概念证明。

如果出于某种原因(例如数据格式不受支持),ASA不适合您,则始终可以使用不同的技术检索IoT Hub数据,例如使用EventProcessorHost。这样您就可以完全控制数据,并且可以使用您想要的所有内容输出数据,它仍然可以扩展(当然这也取决于数据目标)。请将this post视为一个粗略的想法。它看起来有点过时但这个概念今天仍然有效。

可以找到关于从EventHub读取数据的其他可能选项的官方文档here