Question

将* .dat文件转换为* .avro的任何指针，在.NET Framework 4.5中使用Snappy进行压缩。我想在我的Hive中使用avro文件。 Hive是否支持开箱即用的Avro格式。我是否需要提及serde阅读avro文件

Answer 1

Hive确实支持Avro开箱即用：https://cwiki.apache.org/confluence/display/Hive/AvroSerDe

您可以在Hive中定义Avro表，类似于：

  CREATE TABLE kst
      PARTITIONED BY (ds string)
      ROW FORMAT SERDE
      'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
      STORED AS INPUTFORMAT
      'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
      OUTPUTFORMAT
      'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
      TBLPROPERTIES (
        'avro.schema.url'='http://schema_provider/kst.avsc');

或者Hive 0.14，类似于：

CREATE TABLE kst (
    string1 string,
    string2 string
  )
  PARTITIONED BY (ds string)
  STORED AS AVRO;

Avro与Snappy压缩

1 个答案: