我已经设置 Syncfusion Dashboard Platform 来处理一些导入的测试数据( Syncfusion Big Data )。
我在Hadoop中使用了Integration平台进行导入(文件以 Avro 格式存储)。
然后我通过Spark SQL将Avro数据从Hadoop放到Hive表中(将Avro转换为表格),总共有400行。
然后我在Dashboard平台中将此 Hive2 用作数据源。
然后我尝试获取数据,但效果非常慢。
有人能指出我如何解决这个问题吗?默认情况下,Syncfusion中的设置。
谢谢!
答案 0 :(得分:0)
推荐解决方案:
由于Hive Server2(Map Reduce)非常适合使用大型数据集进行批处理,因此我建议您使用 Spark SQL 数据源进行近实时分析,例如仪表板可视化。因为Spark SQL在内存中处理数据,以避免多个磁盘I / O操作。
•在Hive下创建的表也可以从Syncfusion发行版中的“ Spark SQL ”访问,因为它们都使用相同的元存储数据库。 因此,您可以在Syncfusion Dashboard平台中使用“ Spark SQL ”连接类型,而不是“ Hive ”。