烫伤读取镶木地板的时间戳

时间:2017-01-20 17:30:59

标签: scala hadoop parquet cascading scalding

您好我正在尝试使用案例类(在类型管道中)从拼花文件中读取时间戳字段(日期时间)。

镶木地板文件来自黑斑羚桌。

镶木地板工具库将类型设为

  

可选的int96

有谁知道字段类型应该是什么?

如果我使用Option [Long]

case class Columns(request_id:Option[String],datetime: Option[Long])
 val input = TypedParquet[Columns](input1)

然后它给出了以下错误

  

引起:org.apache.parquet.io.ParquetDecodingException:The   请求的架构与文件架构不兼容。不相容   types:可选int64 datetime!=可选int96 datetime

哪种有道理。

如果我尝试使用BigInt

case class Columns(request_id:Option[String],datetime: Option[Bigint])
 val input = TypedParquet[Columns](input1)

它甚至没有编译它给出了以下错误

  

Parquetreadsupport - 找不到参数

的隐含值

0 个答案:

没有答案