我遇到了问题,我正在尝试运行map并在运行时缩减函数。以我为例,我有一个程序可以执行某些操作,而在程序运行时,我需要使用hadoop。
那么我可以(如果是的话)可以在程序已经运行时使用map和reduce函数吗?我需要将一些输入传递给map函数,但是我看到hadoop使用“作业”来设置输入和输出(在WordCount示例中),如下所示:
// Adding the Input path
FileInputFormat.addInputPath(job, new Path(p0));
// Setting the output path
FileOutputFormat.setOutputPath(job, new Path(p1));
我需要给map函数一个Double变量,并且我不需要真正的输出,因为我应该从reduce函数中获取输出。