如何使用Apache Flink中的BucketingSink写入ORC文件？

Question

我正在研究一个Flink流程序，它读取kafka消息并将消息转储到AWS s3上的ORC文件中。我发现没有关于Flink的BucketingSink和ORC文件编写器集成的文档。并且没有这样的ORC文件编写器实现可以在BucketingSink中使用。

我被困在这里，有什么想法吗？

Answer 1

我同意，ORC文件的BucketingSink作者将是一个很棒的功能。但是，它还没有为Flink做出贡献。你必须自己实现这样一个作家。

如果你考虑将其贡献给Flink，我肯定Flink社区会帮助设计和审查作者。