什么时候数据足够大才能使用Hadoop?

时间:2015-09-11 19:50:06

标签: database hadoop bigdata

我的雇主运行Hadoop集群,由于我们的数据很少超过1GB,我发现很少需要Hadoop来满足我们办公室的需求(这不是大数据),但我的雇主似乎想要为了能够说我们正在使用我们的Hadoop集群,所以我们正在积极寻找需要使用我们的大型工具进行分析的数据。

我看到一些报道说任何低于5tb的东西都不应该使用hadoop。 Hadoop成为数据分析的实用解决方案的神奇之处是什么?

1 个答案:

答案 0 :(得分:1)

没有类似魔法大小的东西。 Hadoop不仅涉及数据量,还包括资源和处理成本"。它与一个图像不同,可能需要大量内存和CPU而不是解析文本文件。并且正在使用haoop。

为了证明使用hadoop是合理的,你需要回答以下问题:

  • 您的流程是否能够在一台机器上运行并按时完成工作?
  • 您的数据增长有多快?

生成报告每天一次读取的次数与从面向客户的API每秒十次读取1GB的读取次数不同。但如果您以前没有遇到过这类问题,很可能您不需要使用hadoop来处理您的1GB:)