我有一个json文件,并希望将其转换为镶木地板文件。 我知道如何从json文件转换为java对象,但仍需要从java对象转换为镶木地板文件。 我不想使用AVRO / Protocol Buffers / Thrift /等进行转换。而且,我也不想使用Apache钻取 - 只是一个java代码。
我在maven中使用Java项目,我的pom.xml看起来像这样:
<dependencies>
<dependency>
<groupId>org.apache.parquet</groupId>
<artifactId>parquet-common</artifactId>
<version>1.8.1</version>
</dependency>
<dependency>
<groupId>org.apache.parquet</groupId>
<artifactId>parquet-encoding</artifactId>
<version>1.8.1</version>
</dependency>
<dependency>
<groupId>org.apache.parquet</groupId>
<artifactId>parquet-column</artifactId>
<version>1.8.1</version>
</dependency>
<dependency>
<groupId>org.apache.parquet</groupId>
<artifactId>parquet-hadoop</artifactId>
<version>1.8.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-core</artifactId>
<version>0.20.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.2.0</version>
</dependency>
</dependencies>
意味着我在使用hadoop时遇到问题。
所以我找到了这个链接(最后一条评论):
https://groups.google.com/forum/#!topic/parquet-dev/lfWanFOc040
上面的链接有我想要的,但我有2个导入的问题,并且找不到正确的依赖关系。
这是我无法找到的2个进口商品:
import org.apache.hadoop.hive.ql.io.parquet.writable.BinaryWritable;
import org.apache.hadoop.hive.ql.io.parquet.write.DataWritableWriteSupport;
非常感谢您帮助我找到依赖项。
THANX:)
答案 0 :(得分:1)
好的,我找到了答案:
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>0.13.0</version>
</dependency>
享受!