以编程方式确定烫毛/级联管道的字段名称

时间:2014-03-05 01:11:46

标签: java scala hadoop cascading scalding

我正在使用Scalding处理包含许多(> 22)字段的记录。在这个过程的最后,我想把最后的Pipe的字段名写到一个文件中。我知道这是可能的,因为Mapper和Reducer日志显示了这些信息。我想在工作中获取这些信息,以便将其作为穷人模式的基础。如果无法做到这一点,那么有一种很好的方法可以使用类型安全的Pipes API来处理大型记录(即,不使用任意嵌套的元组或案例类)吗?

1 个答案:

答案 0 :(得分:0)

.write(Tsv("filename.tsv"), writeHeader=true)

通过使writeHeader = true告诉.write函数也包含架构。