Hadoop Framework在本地模拟集群

Question

是否有任何Hadoop框架，我可以在Linux或Windows机器上本地模拟完整集群？ DFS可以在本地复制数据，Compute层可以并行执行吗？ 有没有这样或类似的框架？

Answer 1

您可以在一台或多台虚拟机上安装Hadoop。例如。 Cloudera提供了一个downloadable VM预安装的Hadoop发行版

Answer 2

Reference :瘤胃是为MapReduce构建的数据提取和分析工具。 Rumen挖掘JobHistory日志以提取有意义的数据并以易于解析的格式存储它。瘤胃对从JobHistory日志挖掘的信息进行统计分析，这可以通过其他工具执行模拟，仿真和基准测试等任务。瘤胃形成了 GridMix（v3）和Mumak的基础。

Reference :其他新的贡献模块包括Rumen（MAPREDUCE-751）和Mumak（MAPREDUCE-728），用于建模MapReduce的工具。这两者旨在协同工作：Rumen从历史日志中提取作业数据，然后Mumak使用它来模拟集群上的MapReduce应用程序和集群。 Gridmix3还可用于处理瘤胃痕迹。作业历史记录日志分析器是另一个提供有关MapReduce集群利用率（HDFS-459）的信息的工具。

示例Rumen数据在SVN中。仅供参考，Rumen和Mumak是贡献模块，并且没有太多可用的文档。这是一篇关于GridMix的好文章。