我已经模拟了将消息发送到IoT中心Blob存储的设备,并通过使用Azure Data Factory创建管道从那里将数据(以JSON格式编码)复制到Azure Data Lake Gen2。
如何将这些json输出文件转换为CSV文件以由Data Lake Engine处理?我不能直接在蔚蓝数据湖中处理所有传入的json遥测吗?
答案 0 :(得分:0)
有3个正式的built-in extractors,可让您分析CSV,TSV或文本文件中包含的数据。
但MSFT还在其Azure GitHub repo上发布了一些其他示例提取器,它们处理Xml,Json和Avro文件。我已经在生产中使用了Json提取器,因为它确实稳定且有用。
JSON提取器将整个输入文件视为单个JSON文档。如果每行有一个JSON文档,请参阅下一节。您尝试提取的列将从文档中提取。在这种情况下,我要提取_id和Revision属性。请注意,其中一个可能是进一步嵌套的对象,在这种情况下,您可以使用JSON UDF进行后续处理。
HotTip