描述表显示了“来自反序列化器”,用于Hue Hive Avro格式的列注释

时间:2016-04-13 08:59:01

标签: hadoop hive hiveql avro hue

我们观察到,当我们以Avro格式存储数据时,它会将字节流转换为二进制,因此所有注释都将转换为“来自反序列化器”。

我们发现了这个问题的jira bug,很少有人证实,这个问题已经用0.13版本解决了。我们正在使用hive 1.1(Cloudera)。但我们仍然面临着这个问题。

Jira: - https://issues.apache.org/jira/browse/HIVE-6681

https://www.bountysource.com/issues/1320154-describe-on-a-table-returns-from-deserializer-for-column-comments-instead-of-values-supplied-in-create-table

但是当我们将输入和输出格式更改为普通文本(明确指定)时,可以保留列描述,但是,在这种情况下,它似乎正在失去其实际的avro功能。因此,以下代码无法使用。

- 下面是使用文本的输入和输出格式

 ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' 
 STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' 
 OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

0 个答案:

没有答案