我很擅长使用LinkedIn的camus并成功地将数据文件从Kafka写入Hdfs。
通常,我使用JsonStringMessagdecoder
来读取JSON并使用.dat
将其写入StringRecordWriterProvider
文件。
但是可以写入多种文件类型吗?
假设kafka
中的json如下:
{ "user":"John", "message":"Hi how are you?" }
现在我希望将John,Hi how are you?
写入一个文件,而将user,message
写入同一位置的另一个文件(.meta
)。可能吗 ?