Question

我从MRAppMaster.java代码开始。我想调试它以查看纱线应用程序的原理。

我在Eclipse中导入了整个已编译的hadoop代码。

我在本地Linux中运行hadoop。

4504 ResourceManager 
4066 DataNode 
4761 NodeManager 
5068 JobHistoryServer 
4357 SecondaryNameNode 
3833 NameNode 
5127 Jps

在hadoop-env.sh中：

HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,address=9000"

然后我跑：

bin/hadoop jar path/to/hadoop-mapreduce-examples-2.2.0.jar wordcount /wordcount /output

然后我在MRAppMaster.java和RunJar.java中设置断点。然后在Eclipse中开始调试。

它只停在：

Thread [main] (Suspended (breakpoint at line 342 in JobSubmitter)) 
JobSubmitter.submitJobInternal(Job, Cluster) line: 342 
...
RunJar.main(String[]) line: 212

如何调试MRAppMaster.java？

Answer 1

对你来说已经很晚了，但我也遇到了同样的问题，并找到了解决方案，所以在这里发布。首先，如果您正在寻找调试MR工作，那么有一个帖子here可以解释它。如果您正在寻找调试TEZ作业，那么您应该在tez-site.xml中添加以下内容

<property>
  <name>tez.am.launch.cmd-opts</name>
  <value>-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=7070</value>
</property>

如何在Eclipse上调试Yarn应用程序？

1 个答案: