找到最常用的HIVE表

Question

我们在数据仓库解决方案中广泛使用HIVE。许多预定作业和临时查询正在访问这些。我怎样才能找到我公司最受欢迎的HIVE表。

这样我就可以采取一些措施来改善它。

Answer 1

您还没有提到您正在运行Hive的Hadoop分发，但如果是Cloudera，您可以查看Cloudera Navigator Optimizer：

http://blog.cloudera.com/blog/2015/11/introducing-cloudera-navigator-optimizer-for-optimal-sql-workload-efficiency-on-apache-hadoop/

配置SQL工作负载以获得跨多个维度的可见性，包括：

• “仪表板”视图：SQL操作，表使用情况和查询 使用模式
• 一种流行的观点：最常用的表格， 查询和列模式
• 深入观察：每张桌子和 查询的主要特征，模式和复杂性
• 一个亮点 查看：分析整个工作量的主要见解

https://www.cloudera.com/documentation/navopt/topics/EvaluatingHiveImpalaWorkloads.html

  

用例：按CPU时间，内存使用情况和文件评估查询集   系统读/写

即使没有Cloudera Navigator Optimizer，只有Cloudera Navigator，我猜你可以从Navigator的Solr后端数据库中获得类似的数据。

我不知道任何其他提供类似功能的产品（我不隶属于Cloudera，但将其产品用作客户端）。