我有一个用Scala编写的简单spark(1.4.1版本)应用程序,它使用来自kinesis流的数据。如果我运行应用程序,使用 spark-submit 命令,并将主设备的值设置为 local [*] ,一切正常。如果我选择使用作为主 yarn-client ,我有以下例外:
handleMessage
显然我已经使用sbt的程序集插件创建了一个胖jar,其中包含了以joda-time-2.9.1.jar作为依赖项的spark-streaming-kinesis-asl_2.10库。我已经列出了我的胖罐中包含的文件,并且该类存在。为了确保其存在,我还尝试使用主类中的DateTimeFormat,我没有任何问题。
我希望有人能帮助我解决这个问题。 感谢。
答案 0 :(得分:0)
我建议从spark“Application Detail UI”=>中检查类路径条目。 “环境”标签,检查你是否看到任何joda-time entires。