如何将hdfs中的现有文本数据转换为Avro?

时间:2018-04-27 13:25:58

标签: hadoop hdfs avro avro-tools

我在hdfs中有一个以Text格式存储的表,所以现在我需要在它们之间添加新列。所以我想在avro中加载新列,因为Avro支持模式演变,但现在以前的数据仍然是文本格式。

1 个答案:

答案 0 :(得分:0)

如果你已经有一个表,你可以直接从hive加载到avro表中,如果没有,你可以为该文本文件创建一个hive表并将其加载到avro表。 像

这样的东西
create table test(fields type)  row format delimited fields terminated by ',' stored as textile location 'textfilepath';
create table avrotbl like test stored as avrofile;
insert into abrotbl select * from test;