Impala中的自定义文件格式

时间:2015-12-04 10:24:17

标签: impala

我们有自定义的内部数据格式。我想用这种格式使用Impala,只是为了阅读。我想写这种格式的绑定。但是没有理由对此做出贡献,因为没有其他人使用这种格式。

Impala是否以某种方式支持文件格式插件?

hdfs-scan-node.cc来看,遗憾的是文件格式列表是硬编码的。如果是这种情况,是否有计划改变这种情况?或者出于某种原因这不是常见的问题吗?

1 个答案:

答案 0 :(得分:1)

不,如How Impala Works with Hadoop File Formats中所述:

  

Impala只能查询上表中列出的文件格式。特别是,Impala不支持ORC文件格式。

原因可能与运行时代码生成有关,如果Impala不限制文件格式,则运行时代码生成将更难以优化。 但是,Impala是一个开源项目,没有理由不通过提交JIRA来建议。

http://blog.cloudera.com/blog/2013/02/inside-cloudera-impala-runtime-code-generation/ https://issues.apache.org/jira/projects/IMPALA/issues https://www.cloudera.com/documentation/enterprise/latest/topics/impala_file_formats.html