使用StreamingFileSink写入AVRO文件

时间:2019-01-12 23:35:05

标签: apache-flink flink-streaming

我正在尝试使用Flink的StreamingFileSink将数据流中的元素写入到AVRO文件的集合中。我已经看到了这个示例[1],该示例显示了如何编写Parquet文件。但是,我无法按照该示例来写入AVRO文件。 AVRO是基于行的,因此我认为StreamingFileSink.forRowFormat()是合适的,但是我确定这是不正确的(因为我需要根据AVRO规范将架构写入每个文件的一部分)。

任何帮助将不胜感激。

[1] https://github.com/apache/flink/blob/0b4947b6142f813d2f1e0e662d0fefdecca0e382/flink-formats/flink-parquet/src/test/java/org/apache/flink/formats/parquet/avro/ParquetStreamingFileSinkITCase.java

0 个答案:

没有答案