使用StreamingFileSink

时间:2018-10-15 12:26:50

标签: apache-flink

使用StreamingFileSink将avro记录写入HDFS目录的正确方法是什么? StreamingFileSink具有一个RowFormat方法,该方法可以使用提供的Encoder一次输出一条记录,这对于使用架构创建avro格式的文件是不正确的。 有AvroParquetWriter(使用BulkWriter),可以将avro记录转换为Parquet。 有什么类似的创建avro文件的方式?需要实现什么接口才能使记录写入与Flink的检查点同步?是否有任何可用于创建此类avro文件的实现?

0 个答案:

没有答案