Scalding写入具有超过22列的JDBCSource

时间:2015-11-09 22:20:17

标签: scalding

是否有一种方法可以写入写入超过22列的SQL表?我面临的问题如下。我有一个有28列的表,我使用case类代表每一行。像

这样的东西
case class ResultsRow(field1: String, field2: Int, ... field28: String)

我处于最后阶段,我有一个TypedPipe [ResultsRow],我需要序列化到DB。但是,scalding和parallelai提供的JDBCSource似乎都不支持仅将元组作为输入而不支持 case classes 。我确实喜欢做某种事情

val results: TypedPipe[ResultsRow] = getResultRows
val dbOutput: JDBCSource = JDBCSource(...)
results.write(dbOutput)

我无法做到

results
   .map { row => (row.field1, row.field2, ..., row.field28) }
   .write(dbOutput)

因为您无法定义具有超过22个字段的元组。

注意:Scalding FAQ上的规定不起作用,因为它处理超过22个字段的读取而不是将其序列化到数据库

0 个答案:

没有答案