猪脚本无法加载可空的镶木地板数据

时间:2015-04-30 00:34:33

标签: apache-pig parquet

我正在尝试编写一个Pig脚本来压缩具有镶木地板格式数据的小文件。下面提到的行试图加载目录中的小文件,然后存储它们。这些文件具有复杂的嵌套结构,这些结构可以为空,并且它们包含许多NULL s。

LOGS = LOAD '/dt=20150307/hr=2015030700/*' USING parquet.pig.ParquetLoader();
STORE LOGS INTO '/user/compaction_output' USING parquet.pig.ParquetStorer();

我收到以下错误:

2015-04-29 17:00:45,883 [main] ERROR org.apache.pig.tools.pigstats.SimplePigStats - ERROR 2118: Cannot build an empty group

我怀疑是因为输入文件中的空值。 有人可以帮忙吗?

0 个答案:

没有答案