是否全部三种:Presto,hive和impala支持Avro数据格式?

时间:2017-05-24 08:26:43

标签: hadoop hive impala presto

我很清楚Hive中可用的Serde支持数据格式的Avro架构。使用带有蜂巢的avro时非常舒服。

AvroSerDe

比方说,我发现这个问题反对presto。 https://github.com/prestodb/presto/issues/5009

我需要选择快速执行周期的组件。 Presto和impala提供更小的执行周期。 所以,任何人请让我澄清哪种情况在不同的数据格式中会更好。 首先,我现在正在寻找Presto的avro支持。

但是,我们可以考虑以下数据格式存储在HDFS上:

  1. Avro格式
  2. 实木复合地板格式
  3. 兽人格式
  4. 哪种方法最适合在不同数据格式下使用高性能。 ??请建议。

1 个答案:

答案 0 :(得分:1)

互联网上有关于性能的不同基准,但我不想链接到特定的基准,因为结果严重依赖于基准测试的确切用例。