执行Map Reduce作业从在Windows上运行的Java Web服务到远程集群

时间:2017-08-28 16:11:07

标签: hadoop jobs submission

注意 - 我的Windows机器没有本地运行的hadoop。远程群集具有hadoop群集。以下是配置 -

Configuration config = HBaseConfiguration.create();
config.set("yarn.resourcemanager.address", 
"http://thdpcl1nn1.catmktg.com:8032"); 
config.set("mapreduce.framework.name", "yarn");
config.set("fs.defaultFS", "hdfs://thdpcl1nn1.catmktg.com:8020");
config.set("hbase.master.port", "60000");
config.set("hbase.zookeeper.quorum", "thdpcl1dn01.catmktg.com");
config.set("zookeeper.znode.parent", "/hbase-unsecure");
config.set("mapreduce.app-submission.cross-platform", "true");
config.set("hadoop.job.ugi", "token_svc");

我能够看到正在提交的作业,但我看到以下错误 - 错误:无法找到或加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster

几个问题 - 是否可以在没有Hadoop本地运行的情况下将MR作业提交到远程群集?正在提交的作业具有我本地Windows机器的用户名。该用户名在Hadoop集群上不可用。这是为什么一些类路径不可用的问题?

0 个答案:

没有答案