我必须开发一个mapreduce程序,它需要在两个不同的数据集上执行连接。 其中一个是csv文件,另一个是avro文件。
我正在使用MultipleInputs处理这两个来源。但是,要在一个reducer中处理两个数据集,我将使用
将Avro数据转换为Text new Text(key.datum.toString())
我的挑战是将上面生成的Json String转换为Avro rcord,因为最终输出需要采用avro格式。
是否有可用于执行此操作的特定功能或类? 如果是的话,你能引用一个例子吗?