从java对象到镶木地板文件

时间:2016-12-25 15:33:33

标签: java json maven hadoop parquet

我有一个json文件,并希望将其转换为镶木地板文件。 我知道如何从json文件转换为java对象,但仍需要从java对象转换为镶木地板文件。 我不想使用AVRO / Protocol Buffers / Thrift /等进行转换。而且,我也不想使用Apache钻取 - 只是一个java代码。

我在maven中使用Java项目,我的pom.xml看起来像这样:

<dependencies>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-common</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-encoding</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-column</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-hadoop</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.2.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-core</artifactId>
            <version>0.20.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.2.0</version>
        </dependency>
    </dependencies>

意味着我在使用hadoop时遇到问题。

所以我找到了这个链接(最后一条评论):

https://groups.google.com/forum/#!topic/parquet-dev/lfWanFOc040

上面的链接有我想要的,但我有2个导入的问题,并且找不到正确的依赖关系。

这是我无法找到的2个进口商品:

import org.apache.hadoop.hive.ql.io.parquet.writable.BinaryWritable;
import org.apache.hadoop.hive.ql.io.parquet.write.DataWritableWriteSupport;

非常感谢您帮助我找到依赖项。

THANX:)

1 个答案:

答案 0 :(得分:1)

好的,我找到了答案:

<dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>0.13.0</version>
        </dependency>

享受!