我花了很多时间阅读和观看人们谈论他们如何使用专门用于处理庞大数据集和在其架构中进行实时处理的工具的视频。虽然我理解Hadoop / Cassandra / Kafka等工具的用途,但似乎没有人能解释数据如何从这些大型处理工具中获取,以便在客户端/网页上呈现内容。
根据我对大数据工具的理解,您可以像查询MySQL的标准Web应用程序一样构建应用程序,鉴于流经这些数据的大小,我可以理解但是,所有这些关于"实时数据分析的讨论"我找不到任何关于如何在某些图表/表格等方面将实际分析放在某人面前的解释?
答案 0 :(得分:0)
解释数据如何从这些大型处理工具转移到客户端/网页上呈现内容。
关于这一点,一种方法是使用Spark或Hadoop处理大数据并将结果存储到RDBMS。然后让您的webapp从RDBMS中提取数据以呈现图表,表格等。如果您需要更多信息,我可以为您提供自己完成的示例。
答案 1 :(得分:0)
Impala 支持ODBC / JDBC接口。因此,您实际上可以像使用MySQL一样将Web应用程序连接到它。
您可能想要查看的其他内容是 HBase , Kudu 或 Solr 。在某些实时架构中,数据最终会出现在其中之一。所有这些都有某种API,您可以在Web应用中使用它来访问他们的数据。
答案 2 :(得分:0)
如果您想要一个简单的实时数据处理和分析解决方案,请查看新的Stride API,它使开发人员能够收集,处理和分析流数据,然后在Stride中可视化摘要数据或推送已处理的数据实时应用程序。这是构建上述实时报告仪表板和监控/警报系统的一种非常简单的方法。
请查看Stride API technical docs以获取示例以及有关如何实现此问题的详细信息。