在没有Spark的Scala中使用parquet-mr

时间:2016-06-10 17:30:04

标签: java scala parquet

我试图在不使用Spark的情况下在Scala中读取.parquet文件。

我找到this SO post,但到目前为止还无法找到如何使用parquet-mr library实际读取文件(包括获取架构)。有一些像RecordReader.java和RecordReaderImplementation.java(它扩展了RecordReader),但我很难理解如何在我的Scala代码中使用它们。我对Scala和Parquet格式都很陌生,但我想在不使用Spark的情况下实现这一目标。

我在这里缺少什么?

1 个答案:

答案 0 :(得分:1)

在没有找到任何其他东西后,我最终自己建造了一些东西。万一其他人在将来与此斗争:https://github.com/jmd1011/parquet-readers