在hadoop 2上运行紧缩作业时出现Avro ClassCastException

时间:2014-10-03 16:23:40

标签: hadoop

我已经写了一个与测试完美匹配的紧缩hadoop作业。所有测试都通过。但是,当我尝试在命令行上运行它时,我会在reduce阶段获得包含此异常的回溯:

java.lang.Exception: org.apache.avro.AvroRuntimeException: java.lang.ClassCastException: org.apache.avro.generic.GenericData$Record cannot be cast to com.person.Person

我在我的mac上使用以下内容调用它:

hadoop jar target/job-2.0.2-SNAPSHOT.jar uk.co.person.Offer -Dinput=file:///tmp/input/part-m-00000.avro -Doutput=/tmp/output

我没有使用hadoop 1.0.3这个问题。

从研究来看,似乎问题在于reducer无法找到我的Person类,即使所有依赖项都在jar中。

有谁知道如何解决这个问题?

0 个答案:

没有答案