Question

我使用Java编写Map reduce Job。设置配置

                    Configuration configuration = new Configuration();

        configuration.set("fs.defaultFS", "hdfs://127.0.0.1:9000");
        configuration.set("mapreduce.job.tracker", "localhost:54311");

        configuration.set("mapreduce.framework.name", "yarn");
        configuration.set("yarn.resourcemanager.address", "localhost:8032");

使用不同案例

运行

案例1：“使用Hadoop和Yarn命令”：成功做好工作

案例2：“使用Eclipse”：成功做好工作

案例3：“删除所有configuration.set（）后使用Java -jar”：

                    Configuration configuration = new Configuration();

        Run successful but not display Job status on Yarn (default port number 8088)

案例4：“使用Java -jar”：错误

     Find stack trace:Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:120)
at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:82)
at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:75)
at org.apache.hadoop.mapreduce.Job$9.run(Job.java:1255)
at org.apache.hadoop.mapreduce.Job$9.run(Job.java:1251)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556)
at org.apache.hadoop.mapreduce.Job.connect(Job.java:1250)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1279)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1303)
at com.my.cache.run.MyTool.run(MyTool.java:38)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at com.my.main.Main.main(Main.java:45)

我请求您告诉我如何使用“Java -jar”命令运行map-reduce作业，并且还能够检查状态并登录Yarn（默认端口8088）。

为什么需要：想要创建Web服务并提交map-reduce作业。（不使用Java运行时库来执行Yarn或Hadoop命令）。

Answer 1

在我看来，没有hadoop命令运行hadoop应用程序非常困难。你最好使用hadoop jar而不是java -jar。

我认为您的机器中没有hadoop环境。首先，您必须确保hadoop在您的计算机上运行良好。

就个人而言，我更喜欢在mapred-site.xml，core-site.xml，yarn-site.xml，hdfs-site.xml中设置配置。我知道在here

中安装hadoop集群的明确教程

在此步骤中，您可以监控端口50070中的hdfs，端口8088中的纱线群集，端口19888中的mapreduce作业历史记录。

然后，你应该证明你的hdfs environtment和纱线环境运行良好。对于hdfs环境，您可以尝试使用简单的hdfs命令，如mkdir，copyToLocal，copyFromLocal等，对于yarn环境，您可以尝试使用示例wordcount项目。

拥有hadoop环境后，您可以创建自己的mapreduce应用程序（可以使用任何IDE）。可能你需要this作为教程。编译它并在jar中制作。

打开终端，然后运行此命令

hadoop jar <path to jar> <arg1> <arg2> ... <arg n>

希望这有用。

如何使用Java -jar命令运行映射减少作业

1 个答案: