我想知道为什么Flink会有一个AvroKeyValueSinkWriter,但是没有一个简单的AvroSinkWriter具有常规Schema(非键值)。
我使用它生成近流式Avro文件,我每小时将它们批量处理一次Parquet文件。 我使用了Flink的BucktingSink。
Key-Value Schema让我在生成Parquet时遇到了一些困难, 我错过了什么?谢谢!
答案 0 :(得分:0)
你找不到Flink的任何帮助。
文档依赖于javadoc,示例几乎是单行的,如字数和其他废话。
我还没有看到" pro" flink编码器可以做,了解正确的方法来完成一些最简单的任务。从Kafka读取,解析avro或json记录,然后在文件系统或hdfs上放入特定数据会很棒。你不会找到任何这样的例子。
你会认为现在可以在网上搜索一些可靠的复杂例子。
这些项目中的大多数都要求您阅读所有源代码并尝试找出方法。
最后,Spring启动并将代码堵塞到服务中比购买Flink更容易,而且在某种程度上是Spark。
祝你好运。