Apache Hudi的Spark结构化流

时间:2019-08-14 12:28:04

标签: apache-spark streaming spark-structured-streaming

我有一个要求,我需要使用结构化流向Hudi数据集写入流。我发现有一项针对Apache Hudi Jira问题的解决方案,但是想知道是否有人成功实现了这一点并举了一个例子。我正在尝试使用Spark结构化流将数据从AWS Kinesis Firehose流化到Apache Hudi

希望能提供快速帮助。

1 个答案:

答案 0 :(得分:0)

我知道至少有一个用户在Hudi中使用结构流接收器。 https://github.com/apache/incubator-hudi/blob/master/hudi-spark/src/test/scala/DataSourceTest.scala#L190可以帮助吗?