使用Impala处理大量数据集

Question

我有一个关于Impala与一些传统SQL数据库系统的一般性问题。我听说Impala可以完全从字面上理解某些SQL语句并吐出数十亿行的表（例如具有重复行的join语句可能会发生什么）。作为一个较窄的例子，假设我运行类似“SELECT * FROM database”的东西。就立即控制台输出而言，我理解大多数传统SQL数据库在达到1000个条目的限制时将停止运行。 Impala也是如此吗？换句话说，如果我在Impala中运行“SELECT * FROM database”，理论上它是否会做更多工作，即使它最终会吐出有限数量的行？

Answer 1

我认为这取决于您使用什么来进行查询。如果您只是从Bash或Impala shell中的命令行运行，它将获取所有结果，但是如果您使用Hue，它将按照您描述的方式浏览结果。实际上对于任何数据库都是如此，如果您使用GUI来访问它，您可以运行类似导出到csv命令以获取完整结果集，或者如果您以编程方式访问，则可以使用{{ 1}}。