来自Kafka Connect的镶木地板输出

Question

我看到Kafka Connect可以用Avro或JSON格式写入S3。但是没有Parquet的支持。这有多难加？

Answer 1

从Confluent 5.4.0开始，官方将Parquet输出到S3。

Answer 2

Qubole连接器支持书写镶木地板 - https://github.com/qubole/streamx

Answer 3

尝试secor： https://github.com/pinterest/secor

可以与AWS S3，谷歌云，Azure的Blob存储等配合使用。

请注意，您选择的解决方案必须具有以下关键功能： 确保每个消息只写一次，负载分配，容错，监视，分区数据等。

Secor拥有全部，并且如上所述，可以轻松地与其他“ s3”样式的服务一起使用。