我从在独立模式下运行Hadoop或Map reduce作业的理解是,我们不需要运行任何Hadoop守护进程。一切都在JVM上。
所以这就是问题所在。
如何实现这一目标?
我是否需要使用某些插件(如Karmasphere
插件),还是可以在不使用任何插件的情况下完成?
我可以在Linux上运行上面的内容。我正在使用Cloudera提供的VM。在这里,我在eclipse中创建了相同的项目 在驱动程序代码中,我添加了以下行,最后将其作为Java应用程序执行
Configuration conf = new Configuration();
conf.set("mapreduce.jobtracker.address", "local");
conf.set("fs.defaultFS","file:///");
Job job = new Job(conf);
在配置运行Java应用程序时,我提供了输入文件和输出文件夹名称作为程序参数并运行。
但在Windows中做同样的事情并不好。