NoSuchMethodException：RDDMultipleTextOutpu tFormat。<init>（），同时在Apache Spark中使用MultipleTextOutputFormat

Question

我正在尝试使用MultipleTextOutputFormat以自定义方式编写数据，以下是我所指的示例：https://stackoverflow.com/a/26051042/2485454

但是，执行上述代码后出现错误：

  

java.lang.RuntimeException：java.lang.NoSuchMethodException：   $ $$ IWC IWC $$ IWC $$ IWC $$ IWC $$ IWC $$ IWC $$ IWC $ RDDMultipleTextOutpu tFormat。（）

Answer 1

在没有项目的情况下完全诊断它是不可能的，但是当你遇到NoSuchMethodException时，你可以非常肯定问题是编译时与运行时依赖性冲突。也许你正在使用一个引入不匹配的火花或hadoop库的库。或许你只是编译一个不同于你正在运行的火花版本。

尝试删除所有额外的库和/或在纯Spark REPL中运行代码并从那里重新构建它。