在scala play框架中找不到Hadoop MR映射器类

Question

我正在尝试在Play 2.0.1 scala中运行MR作业，但我无法在作业类路径中加载映射器类。每次我在hadoop中运行这个工作时，我都会得到一个classnotfoundexception。我已经（以几种不同的方式）添加了对类的引用，以便加载相应的jar，但没有成功。任何线索都将受到赞赏。

谢谢！ -carlos。

Answer 1

我假设您从开发模式运行MR作业。从播放开发模式运行MR作业有几个问题。问题之一是在TaskTracker节点上找不到mapper / reducer类，因为尚未创建带有mapper / reducer的jar。这是我的解决方案：

http://ben-tech.blogspot.com/2013/04/run-mapreduce-in-play-development-mode.html

另一个问题是由Play运行命令中使用的类加载器引起的。运行命令创建一个只有依赖项jar的类加载器，以便在使用Class.forName时类不在类路径中。我还没有解决方案。