需要快速访问Hadoop中的数据（s / ms）

Question

我在配置单元中有一个表，但由于该表中有大量数据，查询花费了更多时间。

哪些工具可以帮助我在不到1秒/毫秒的时间内获取数据？

注意：我从包含多个列的应用程序服务中获取数据，这些数据存储在hdfs中，但是当客户端尝试从Hive访问该列数据时，这会花费更多时间（客户端需要快速响应毫秒）。

如果可以解决我的问题，建议使用一些额外的工具。

Answer 1

如果集群中有Spark，则可以将执行蜂巢引擎设置为spark 设置hive.execution.engine = spark ； 还可以使用优化技术，例如存储分区，分区。