如何为“大数据”分析项目设置架构?

时间:2015-09-23 17:40:20

标签: csv hadoop bigdata

我和我的一位朋友在我们的高年级,很快就会开始一个高级项目。我们有想法为它做一个数据分析和数据可视化项目。我们的项目涉及读取每2分钟更新一次的CSV文件,解析该数据,然后将其存储在数据库中。存储数据后,我们希望对其进行一些分析并提供一个API,通过该API我们可以访问这些数据以便以某种方式进行可视化。我们的最终目标是构建一个Android应用程序,以用户友好的格式显示CSV中的一些原始数据和分析。我和另一个CS Major谈过,他解释说我需要一些不同的服务器才能完成这个:一个用于存储,另一个用于分析,另一个用于某种类型的队列,这可以确保事情不会变得棘手我们做刮刮和分析。问题是,我真的不知道从哪里开始。我之前和SQL前端做过一些SQL数据库的工作,但是没有多个服务器。我听说过像Hadoop这样的大数据项目使用的工具,但我不确定它适合的位置。如果有人能指出某种资源来解释或解释自己,我将如何开始构建这种项目,太棒了!

1 个答案:

答案 0 :(得分:1)

由于你对这些事情没有多少经验,你可能想看看像Cloudera这样的项目。特别是他们的resources页面有一套很好的视频和文章。

另一个可靠信息来源(我个人使用)是通过单击Stack Overflow tag并选择votes选项。关于过多big data个主题 的许多好问题已经存在