如何将Azure EventHub收到的JSON消息转换为Azure Data Lake Storage Gen2上的Avro文件?

时间:2019-05-28 08:41:32

标签: json avro azure-data-lake azure-eventhub

我是Azure平台的新手,目前正在学习做事方式。我的用例看起来很普通,但是在网络上找不到任何对我有帮助的信息。

工作流程:

  • JSON事件从外部系统发送到Azure EventHub使用者组。
  • 然后通过添加一些架构信息将事件转换为Avro文件。
  • 格式化的文件存储在Azure Data Lake Storage Gen2中。

达到此结果的最佳方法是什么?

我尝试过的事情:

  • EventHub Capture不适用于Azure Data Lake Storage Gen2,仅适用于Gen1,无论如何似乎都无法将Avro架构附加到事件。
  • Stream Analytics不允许Gen2输出,并且如果使用Storage Blob,则找不到现有容器,并且如果我指定一个容器,则创建失败。再一次,选择Avro输出格式时似乎无法附加架构。

0 个答案:

没有答案