地图减少模拟器

时间:2016-06-21 18:46:01

标签: java file hadoop mapreduce bandwidth

我想实现Map Reduce模拟而不在mapper&中实际进行任何处理。 reducer阶段,这意味着我只想做数据移动。从磁盘中取出一个文件(即输入),根据分割大小(总输入大小/分割大小)将其分割。基于这种拆分,我创建了Mapper线程,它们同时运行,每个都有一个拆分文件。现在我需要增加文件的数量来增加文件的数量,这样它就像在实际执行中那样创建很少的流量。然后在reduce中阶段只是根据因子0.95收集文件(* mapred.tasktracker.reduce.tasks.maximum)。除此之外,我需要从每个阶段捕获带宽。

任何人都可以向我提供如何在java中执行此操作的想法,这将是最好的方法。

*我不想使用hadoop所以我想开发一个简单的程序来完成所有这些。

请帮我解决这个问题。提前感谢您的所有精彩想法和评论。

0 个答案:

没有答案