我们计划在Azure云中实施一个项目,该数据存储现在将是Azure Data Lake,将来将实现HDP,而ADLS将成为扩展的数据节点。在ADLS中,我们希望公开使用Tableau创建仪表板的数据。最初的计划是使用Hive,Tableau将通过Hive连接到Data。但是这里出现了性能问题:
将有多个用户可以通过Tableau(100+)访问数据
我们还必须通过API调用将数据公开到不同的门户。
这意味着将同时建立多个连接,这将导致蜂巢。我的问题是:
蜂巢能否在最短的时间内达到目的?
我如何衡量性能?
我不想让用户在Tableau中运行查询后坐下来等待很长时间才能看到仪表板。
请您分享一下本期设计的经验吗?我们应该使用Hive还是应该使用其他性能更好的工具来与Tableau和HDFS存储一起使用。有人建议我使用Azure SQL Server并将Tableau连接到SQL Server。但是,这又是旧的方式,而且价格方面的成本问题都与每个查询的执行有关。
如果您有更好的解决方案经验,请与我们分享,将不胜感激。
谢谢。
答案 0 :(得分:1)
如果安装了Hive LLAP,它可以工作。
否则,在我的工作中,我们在S3数据方面对PrestoDB和Tableau有很好的经验。
一些团队使用Spark SQL,您可以设置一个Spark Thrift服务器,该服务器应与Hive JDBC / ODBC驱动程序兼容