大数据案例研究或用例示例

时间:2014-06-11 05:17:11

标签: hadoop analytics bigdata business-intelligence

我已经阅读了许多关于不同类型的行业如何使用大数据分析的博客\文章。但这些文章中的大多数都未提及

  1. 这些公司使用了哪些数据。数据的大小是什么
  2. 他们用来处理数据的工具技术是什么样的
  3. 他们面临的问题是什么以及他们获得数据的洞察力如何帮助他们解决问题。
  4. 他们如何选择适合他们需要的工具\技术。
  5. 他们从数据中发现了什么样的模式?他们从数据中看到了什么样的模式。
  6. 我想知道是否有人可以回答所有这些问题或至少回答一些问题的链接。

    如果有人分享金融行业如何利用大数据分析,那就太棒了。

2 个答案:

答案 0 :(得分:1)

你的问题非常大,但我会尝试以自己的经验回答

1 - 这些公司使用了哪些数据?

Hadoop的优势之一是您可以为数据使用非常大的来源。它可以是.csv / .txt文件,json,mysql,照片,视频......
它可以包含有关营销,社交网络,服务器日志的数据......

数据的大小是多少?

没有关于此的规定。它可以从50 - 60开始转到1Po。取决于数据和公司。

2 - 他们用于处理数据的工具技术

没有关于此的规则。取决于需求。为了组织和处理数据,他们将Hadoop与Hive和Pig一起使用。要查询数据,他们需要一些较短的响应时间,因此他们使用具有较短数据集的NoSQL /内存数据库(由Hadoop改进)。在某些情况下,公司使用像Talend这样的ETL来加快速度。

3 - 他们面临的问题是什么以及他们获得数据的洞察力如何帮助他们解决问题。

公司的主要问题是数据的增长。在某个时刻,数据太大,无法使用Mysql等传统工具进行处理。所以他们开始以Hadoop为例。

4 - 他们如何选择适合他们需要的工具\技术。

我认为这是一个内部问题。公司选择他们的工具是因为许可证的价格,他们自己的技能,他们的总决赛需求......

5 - 他们从数据中发现了什么样的模式&他们从数据中看到了什么样的模式。

我真的不明白这个问题

希望它会对你有所帮助。

答案 1 :(得分:0)

我认为得到你想要的东西是一项艰难的工作,从不同的资源中逐渐获取数据。请务必访问以下链接:

一堆免费报道。我正在研究这份名单。 http://www.oreilly.com/data/free/

着名的麦肯锡报告: http://www.mckinsey.com/~/media/McKinsey/dotcom/Insights%20and%20pubs/MGI/Research/Technology%20and%20Innovation/Big%20Data/MGI_big_data_full_report.ashx