我已使用 ambari 服务配置 Hortonworks HDP ,稍后我添加 HAWQ 和 PXF 。通过一些研究我已经看到有可能通过 HCatalog 查询存储在Hive中的数据,并且由于我已经将数据集加载到hive,这将很容易的工作,但我正在做一些基准测试,有人可以告诉如果使用 Hcatalog 在性能方面影响 HAWQ ?
答案 0 :(得分:1)
当HAWQ使用HCatalog集成访问PXF表时,它确定基础表(甚至分区)的格式并使用针对该特定格式优化的配置文件,因此不会出现性能下降。
答案 1 :(得分:0)
要添加到Oleksandr的观点,当HAWQ查询hcatalog时,即使Hive目录数据也只存储在内存中而不存储在HAWQ内的磁盘上,而不会与本机HAWQ表发生任何争用。也就是说,外部hcatalog查询不如本机HAWQ查询那样高效。