Bigdata use cases

Question

we are trying to create a dashboard using BigData. The Data are currently transacted in SQLServer and the front end is in MVC. As the data flow is extremely high to analyse using SQLServer itself it is decided to use BigData. I had chosen Cloudera Manager CDH, SQOOP to import data from SQLServer to HIVE and running the analytic using IMPALA. Decided to up the results with Microstrategy to provide the charts in mobile platform to the clients. Any Ideas or suggestion are welcome to improve the process?

Answer 1

看起来你有一个好的开始。请记住，您的分析可以使用多种工具完成，而不仅仅是Impala。

一旦你进入Hadoop，Hive和Pig会提供很多功能（UDFS更多可用），并且学习曲线简单。

如果你最终想要做一些迭代用例（并利用机器学习），你可能想要查看Spark（这两个东西在它的驾驶室中），它不受（到？）MapReduce的限制。

可用的大量工具。旅行愉快。

Answer 2

我会考虑使用两个阶段。数据分析和数据可视化。 使用两个阶段可以使解决方案更加灵活，并且可以解决责任问题。

数据分析

• 摄取数据（包括清理），Sqoop可以执行摄取步骤，可能需要额外的步骤来清理数据。
• 探索/分析数据，Apache Spark是一个非常灵活和强大的工具。
• 以指定格式存储分析结果

数据可视化

• 从数据分析阶段加载数据
• 想象它。使用Highcharts / Kibana / Dashing。或者使用D3创建自定义仪表板。