我的雇主运行Hadoop集群,由于我们的数据很少超过1GB,我发现很少需要Hadoop来满足我们办公室的需求(这不是大数据),但我的雇主似乎想要为了能够说我们正在使用我们的Hadoop集群,所以我们正在积极寻找需要使用我们的大型工具进行分析的数据。
我看到一些报道说任何低于5tb的东西都不应该使用hadoop。 Hadoop成为数据分析的实用解决方案的神奇之处是什么?
答案 0 :(得分:1)
没有类似魔法大小的东西。 Hadoop不仅涉及数据量,还包括资源和处理成本"。它与一个图像不同,可能需要大量内存和CPU而不是解析文本文件。并且正在使用haoop。
为了证明使用hadoop是合理的,你需要回答以下问题:
生成报告每天一次读取的次数与从面向客户的API每秒十次读取1GB的读取次数不同。但如果您以前没有遇到过这类问题,很可能您不需要使用hadoop来处理您的1GB:)