使用cassandra对hadoop-2.2.0运行piglatin脚本时出错

时间:2014-01-20 11:03:05

标签: hadoop mapreduce cassandra apache-pig

我正在尝试使用pig在hadoop-2.2.0中为cassandra中存储的数据执行mapreduce。我能够在猪本地模式下运行脚本但我无法在mapreduce模式下运行。请帮我解决它。请找到堆栈跟踪以获取更多信息。

引起:java.lang.IncompatibleClassChangeError:找到接口org.apache.hadoop.mapreduce.JobContext,但是类是预期的 错误pigstats.SimplePigStats:错误:org.apache.hadoop.yarn.exceptions.ApplicationNotFoundException:RM中不存在ID为“application_1390194645126_0008”的应用程序。 引起:java.lang.IncompatibleClassChangeError:找到接口org.apache.hadoop.mapreduce.JobContext,但是在org.apache.cassandra.hadoop.ColumnFamilyInputFormat.getSplits(ColumnFamilyInputFormat.java:103)中预期了类

1 个答案:

答案 0 :(得分:0)

Cassandra源代码树中不支持Hadoop-2(YARN)接口(请参阅问题CASSANDRA-5201)。根据该问题中的活动,看起来这将很快得到解决。在此期间,有一些work done out of tree to support YARN可能对您有用。或者你可以使用Hadoop-1.x.