有人能指点我一个解释如何在烫伤中读写简单案例类的链接吗?是否有一些默认的序列化方案?
例如,我有创建com.twitter.algebird.Moments管道的作业。 我希望将管道写入HDFS,并使用不同的工作来阅读它们。
Fer示例: 我试着写:
pipe.write(Tsv(outputPath))
阅读使用:
class MomentsReadingExample (args: Args) extends Job(args){
val pipe = Tsv(args("input"), ('term, 'appearanceMoments, 'totalMoments)).read
val withSum = pipe.map(('appearanceMoments, 'totalMoments) -> 'sum) {
x: (Moments, Moments) => MomentsGroup.plus(x._1, x._2)
}
withSum.write(Tsv(args("output")))
}
我收到以下错误:
java.lang.ClassCastException: java.lang.String cannot be cast to com.twitter.algebird.Moments
答案 0 :(得分:1)
一种方法是使用pack and unpack。
pipe
.unpack[Moments]('appearanceMoments -> ('m0, 'm1, 'm2, 'm3, 'm4))
.write(Tsv(outputPath))
Tsv(args("input"), ('term, 'm0, 'm1, 'm2, 'm3, 'm4).read
.pack[Moments](('m0, 'm1, 'm2, 'm3, 'm4) -> 'appearanceMoments)