使用ORC格式将事件从kafka写入Hive

Question

我正在尝试使用kafka连接器从Kafka总线以OCR格式以Hive格式写入数据。

总线中的事件为avro格式。我需要像ConvertAvroToORC for NiFi这样的东西，但要有Kafka连接器

Answer 1

HDFS Kafka Connect当前不支持ORC。

欢迎您构建PR，并自行尝试。

https://github.com/confluentinc/kafka-connect-hdfs/pull/294

Answer 2

HDFS连接器io.confluent.connect.hdfs.HdfsSinkConnector https://docs.confluent.io/current/connect/kafka-connect-hdfs/configuration_options.html#hdfs-2-sink-connector-configuration-properties

中包含的io.confluent.connect.hdfs.orc.OrcFormat已发布。