在Zeppelin

Question

• 在尝试运行使用FAT JARs构建的一些submodules（共享一些常见sbt assembly）的代码时，我遇到了这个令人讨厌的问题java.lang.NoSuchMethodError

• JAR建立在EMR本身（而不是从其他某些环境上传），因此库中的版本冲突 / Spark / Scala等不太可能

我的EMR环境：

• 发布标签： emr-5.11.0
• Hadoop发布：亚马逊2.7.3
• 应用： Spark 2.2.1，Zeppelin 0.7.3，Ganglia 3.7.2，Hive 2.3.2，Livy 0.4.0，Sqoop 1.4.6，Presto 0.187

项目配置：

• Scala 2.11.11
• Spark 2.2.1
• SBT 1.0.3

Answer 1

事实证明，真正的罪魁祸首是那些submodules中的共享jars。

由包含公共fat jars的项目构建的两个submodules导致了这种冲突。删除其中一个jars解决了这个问题。

我不确定这种冲突是否仅在某些特定情况下发生，或者在jars上传submodules（具有相同的Zeppelin interpreter）时总是会发生这种冲突，所以仍然等待正确的解释。